- 博客(96)
- 收藏
- 关注
RSS订阅转载 Spark On yarn
spark on yarn 提交的任务失败，提示 exit 15之前查网上，大部分有人说时mapred－site 配的classpath有问题，但是我的是好的。经过艰难的排查是发现，提交的job代码有错误。是什么原因没有发现这个错误呢，因为这个job在client模式时是可以运行的，但是到了cluster模式就是失败。后来发现一段val userDefinedScal...
2016-03-17 21:17:00
183
转载 开发restful api总结的几点小经验
与其说是开发，不如说是打补丁！是个jesery＋spring的restful service，加了一个权限校验部分，做了一些调整。本来其实很简单的一个事，后来发现，这个代码太霸道。本来传个参数是action_id 这个东西，结果参数名字有如下:action_id,actionID,id 我只能说傻傻分不清楚到底你传的什么，因为还有其他id，参数名字参考刚才的。代码...
2015-11-25 22:13:00
222
转载 jersey 中filter使用ContainerRequestContext接受form参数
@Providerpublic class FormDataFilter implements ContainerRequestFilter{ @Override public void filter(ContainerRequestContext requestContext) throws IOException { if ...
2015-11-08 12:45:00
891
转载 why hdfs's default block size is 128MB
A quick calculation shows that if the seek time is around 10 ms and the transfer rate is 100 MB/s, to make the seek time 1% of the transfer time, we need to make the block size around ...
2015-10-30 23:14:00
138
转载 Brew Install MongoDB. Permission Denied
➜ models git:(master) brew install mongodb==> Downloading https://homebrew.bintray.com/bottles/mongodb-3.0.7.el_capitan.boAlready downloaded: /Library/Caches/Homebrew/mongodb-3.0.7.el_capi...
2015-10-27 09:23:00
116
转载 Ubuntu: Set socks5 proxy for git
command line:$:git config --global http.proxy socks5://localhost:1080转载于:https://www.cnblogs.com/-Doraemon/p/4888494.html
2015-10-17 22:45:00
170
转载 Tornado实现一个消息墙。
Tornado对asynchronous http有很好的支持。 所以跟着demo，总结下一个消息墙要怎么做。思路： 首先查了下有两种思路，一种是client pull 一种是server push。这里使用的是server pull，技术就是挺流行的comet技术。comet大概就是说：我客户端发送一个请求到服务器端，然后服务器端启动一个无线循环，将clinet需要...
2015-10-14 17:06:00
108
转载 python 回调函数
今天在膜拜shadsocks代码的时候发现，大神的代码如此精美、发生的情况基本如下：1 初始化一个TCPHandler，当然他不是这么叫的。2 初始化一个Eventloop。3 将这个TCPHandler放入到EventLoop中。4 之后 在TCPHandler下加入EventLOOP中的代码。可以看到 self._eventloop.a...
2015-09-25 16:23:00
87
转载 python二维数组
今天。。好多不会的，慢慢补充1、python的二维数组初始化s = [[0 for i in range(3)]for i in range(3)]这样就初始了一个3*3的二维数组 = [[0 for in range(col_numbers)] for i in range(rows_numbers)]2、with open('test.tx...
2015-09-20 19:11:00
110
转载 File_attack记录
GITHUB链接：github source回顾与记录：1、多线程。python多线程是后面在添加socket服务器的时候才用到的。使用的是threading.Thread类继承的办法实现。使用了生产者和消费者模式。 在这里是使用sys_status作为 产品。 当sys_status为false时，停止生产和消费。整个程序结束。2、多附件的添加：attac...
2015-09-18 10:31:00
178
转载 关于配置nginx django uwsgi的几点说明
原文链接：http://www.jianshu.com/p/e6ff4a28ab5a需要说的是首先要搞清楚python的版本因为Centos用的是2.6的python版本，导致了各种问题。但是yum又要用2.6所以先装个2.7版本的python。然后是nginx，我是通过编译安装的在/usr/local/nginx下server { ...
2015-09-15 17:54:00
87
转载 Python 修改global 变量
今天在写一个脚本时需要定义一个全局的时间变量，但是在函数中修改后一直不能更新，发现是因为函数是有自己的namespacelast_send_time = 0def test(): last_send_time = 2print last_send_time#will print 0#to change it.de...
2015-09-15 11:14:00
380
转载 Mysql What is "order by 1"
今天在看别人写 的代码时，中间的sql语句有个order by 1查了下。 贴出来：order by 1means "order by the first field I selected"转载于:https://www.cnblogs.com/-Doraemon/p/4807377.html...
2015-09-14 15:48:00
102
转载 Google Guava 学习记录《4》Immutable Set
Immutable objects have many advantages, including:Safe for use by untrusted libraries.Thread-safe: can be used by many threads with no risk of race conditions.Doesn't need to support muta...
2015-09-14 11:25:00
110
转载 Google Guava 学习记录《Three》 Ordering
Ordering我看了好多遍中文文档，加一些实例终于算是搞清楚怎么回事了。他是干什么的？ 就像他名字一样，用来ordering 排序的。、主要有两种方法。1 用它的静态方法排序。 比如 Ordering.natural(); 对可排序类型做自然排序，如数字按大小，日期按先后。 natual()的官方解释翻译。2 用自己定义的Ordering 比如...
2015-09-14 11:03:00
108
转载 python中两个参数的意义 *args **kwargs
We often encounter these two parameters.First *argsThis a list of parameters that without name. Baiclly, it is a tuple.It accepts more than one parameters.It's like Java. eg in Java...
2015-09-02 14:36:00
158
转载 一些大数据工具，名词的记录
Actully, we're going to talk aboutApache Hadoop ecosystem.Most from Apache Offical Docs1/apache kafka It is a message quenue. Other message quenues: RabbitMQ, Redis,. what is k...
2015-08-31 10:59:00
119
转载 RPM包制作
制作RPM包，可以方便日后的维护。统一了标准yum install rpmdevtools安装后，使用rpmdev-setuptree命令创建rpm包的目录结构。默认是在$HOME下rmpbuild下，也可以通过~/.rpmmacros配置。SPEC文档是制作rpm包的核心。下面是从fedora中copy过来的新建一个 .sp...
2015-08-29 18:33:00
100
转载 PHP Context学习系列《十》
Context用于所有的文件系统或数据流封装协议。1、套接字context主要是tcp,http,ftp这些基于socket的协议。新加的bindto参数实例：<?php$opt = array( 'socket' => array( 'bindto' = > '192.168.1.1:8000', ...
2015-08-21 21:55:00
122
转载 学习php记录《九》
1：命名空间简述： 其实就是java中的package2：异常处理。抛出一个异常：<?php function div($a){ if(!$a){ throw new Exception("cannot div 0"); } } //try catchtry{...
2015-08-21 21:14:00
93
转载 学习php记录《八》
1：类型约束函数参数的类型约束：比如特定Class类型，数组，递归Traversable, callable的回调类型。2： serialize()序列化的使用。将一个对象序列化：1 <?php2 3 include("classa.inc");4 5 $a = new A;6 $s = serialize($a);7 8 fi...
2015-08-21 20:07:00
86
转载 php学习记录《七》
PHP 函数：1：PHP函数不支持重载，而且函数是不区分大小写的，但是建议区分大小写~~!毕竟需要和谐！2：递归函数 不要递归过多，可能会因为堆栈溢出导致脚本崩溃。 <?php function reverse($a){ if($a < 20){ echo "this is $a"; $a += 1; ...
2015-08-21 19:46:00
60
转载 换到新工作后
今天算是接到VIP发的offer了，本来是准备去盛大了。无奈其实vip的大数据部门更吸引我，但是php学习不会中断，到入职前的这段时间应该是陆陆续续的更新完。 在上一个公司的感想吧。记录下，以后也好看看。 最大的问题其实是自己，没有达到他们想要的那种预期。其实他们是想让你尽快投入生产的，而我是没有进入那种工作状态的。同时公司其实也没有符合我的预期，他们的模式是一路向前，实...
2015-08-15 00:09:00
58
转载 学习php记录《六》
1、表达式表达式就是最基本的一个$fist ? $second : $thirdTrue 计算second，false计算third。 讲道理。有个全等运算符，很优秀。=== 这个比较值和类型都一样的。本着表达式的原则，这里的自增是有点不太一样的。前递增 ++$a 是指读取$a之前自增，所以叫前递增。那么后自增就是读取后再自增了，解释很优秀，很...
2015-08-13 23:58:00
64
转载 学习php记录《五》
1、常量定义define("CONSTANTS","hello world");#这个不方便#下面这个就很优秀了。#但是要定义在最开始，因为他是编译是出来的constant CONSTANT = ’hello world‘常量也只能包含标量数据。2、内置常量（别翻译成魔术常量好么！听着真是！）附上：以便查阅__LINE__文件中...
2015-08-13 15:26:00
67
转载 学习php记录《四》
1、object要想搞一个object，就要先搞一个类：class Foo{ function do_foo(){ echo 'foo bar'; }}$foo = new Foo();$foo->do_foo();比如一个string要转换为object：$str_foo = (object)'...
2015-08-13 14:53:00
52
转载 学习php记录《三》
继续吧。。。1、stringstring的拼接，string是没有+这个运算操作符的，所以是：$a = 'hello';$a .='world';echo $a;#返回 hello world$a = 'hello';$b = $a . 'world';echo $b;#结果 "helloworld要操作stri...
2015-08-13 12:31:00
57
转载 学习php记录《二》
1、浮点数<?php$a = 1.234; $b = 1.2e3; $c = 7E-10;?>$c 应该是个幂？这个是幂的格式。EXPONENT_DNUM [+-]?(({LNUM} | {DNUM}) [eE][+-]? {LNUM})其他类型（不包括string）如果要转换为float，要先转换成integer然后不要比...
2015-08-13 11:23:00
73
转载 学习php记录《一》
以前也没有这么个模式学习新语言，所以这次试试。记录！！因为要准备一个PHP面试，所以就搞搞。安装的话就不需要我再废话了，网上一堆，但是注意几点吧，现装Apache，因为php好像是要依赖里面的包，然后要了解configure参数的意义。之前大二的时候安装其实是不懂的，就是网上复制黏贴，结果发现各种问题。对了，，最好的安装doc就是官方的那个，感觉很详细了。我这次安装还是出现了问题，找...
2015-08-13 10:52:00
116
转载 Google Guava 学习记录《二》 Precondition
1 int i = 4; 2 int j = 5;3 Preconditions.checkArgument(i>j,"i should bigger than j, but i is %s and j is %s",i,j);Exception in thread "main" java.lang.Ille...
2015-08-11 16:48:00
105
转载 Google Guava 学习记录《一》
Guava 在Google code 上地址：https://code.google.com/p/guava-libraries/首先为什么要学习这个库，在实习的时候看大神的代码很简洁，很多地方将一些琐碎凌乱的代码轻松解决，所以抱着试试看的心态搞搞吧。第一部分：basic utilitiesnull 问题的处理理解Optional<T> ,首先要...
2015-08-11 16:22:00
84
转载 Java NumberFormatException
在编写项目代码时出现的一切不可控因素都要进行处理。昨天写的1 Integer count = Integer.parseInt(countStr);2 3 //如果不处理，很有可能出现Exception4 5 try{6 Integer count = Integer.parseInt(countStr);7 }catch(Num...
2015-08-04 09:52:00
127
转载 RabbitMQ Learn Record
Language: PythonProtocols Base: AMQP 0-9-1To communicate, firstly build a Connection with server. connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))After Connection ...
2015-07-31 10:31:00
170
转载 竟然还是Django 【关于template_dirs的设置】 搞了我一个小时，脑残了
template的默认目录在安装的目录里。所以要project 下重新设置。找到setting.py加上mysite/settings.pyTEMPLATE_DIRS = [os.path.join(BASE_DIR, 'templates')]这是目录：.├── db.sqlite3├── jason_auth│ ├── admin.py│ ├── __init__.py│...
2014-12-17 15:51:00
400
转载 Scrapy ERROR :ImportError: Error loading object 'scrapy.telnet.TelnetConsole': No module named conch
原文:https://stackoverflow.com/questions/17263509/error-while-using-scrapy-scrapy-telnet-telnetconsole-no-module-named-conch/17264705#17264705On Ubuntu, you should avoid usingeasy_installwherever...
2014-12-13 09:07:00
107
转载 linux下批处理
linux使用中发现我们可能开机要启动一系列程序.所以写个批处理d文件很方便:首先 到你用户d目录下:vim startup.sh#your dircd /home/jason/Downloads/openkeeper-cli-1.1-x86_64#your command as you dookcd /home/jason/Downloads/goagent-goagent-52e1f...
2014-12-11 23:28:00
91
转载 Master-Worker模式 Python（转载）
转载来自：http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001386832973658c780d8bfa4c6406f83b2b3097aed5df6000分布式进程810次阅读在Thread和Process中，应当优选Process，因为Process更稳定，而且，P...
2014-12-10 15:24:00
256
转载 学习服务器配置之路~~(2)
配置PHP与Apache （ＣＥＮＴＯＳ ６.５）原文参考链接:Click me第一步：安装Apache下载Apache源码到目录 如：/home/apache/解压（linux下我用.tar.gz 可以用tar工具命令：tar -zxvf your-file.tar.gz)到当前目录第二部：编译、安装./configure --enable-so --enable-ssl--wit...
2014-12-07 12:59:00
68
转载 为Tomcat配置Nginx
Nginx配置server { listen mysite.com:80; #如：listen 80 server_name mysite.com; #如：localhost root /path/to/tomcat/webapps/mysite/; location / { proxy_set_header X-Forwarded-Hos...
2014-12-06 18:22:00
82
转载 Nginx install from source on cenos 6.5
ＥＲＲＯＲ：/configure: error: the HTTP rewrite module requires the PCRE library.You can either disable the module by using --without-http_rewrite_moduleoption, or install the PCRE library into the sys...
2014-12-06 11:21:00
64
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人