- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 python ssh爆破
1：我直接上我的代码 python ： 3.4from optparse import OptionParserfrom threading import BoundedSemaphore, Threadimport timefrom pexpect import pxsshmax_connection = 5Found = FalseFails = 0connection_lock
2016-11-30 21:32:50
1107
原创 idea中hadoop本地debug调试以及本地提交模式（不需要打jar包上传）
环境：ubuntn 14.04 1：将hadoop的目录加入环境变量中gedit .bashrcexport JAVA_HOME=/usr/local/javaexport PATH=$PATH:$JAVA_HOME/binexport HADOOP_HOME=/home/willian/programing/hadoop-2.7.3export PATH=$PATH:$HADOOP_HO
2016-11-30 11:07:08
2672
原创 hadoop 性能优化
1：对于有很多小文件的时候，hadoop默认使用TextInputFormat处理文件，所以会有很多maptask 处理措施： 1：在前端处理的时候先将小文件合并，再传入hadoop 2：如果已经是小文件在hdfs中了，可以使用combineInputFormat 进行小文件合并job.setInputFormatClass(CombineTextInputFormat.cla
2016-11-30 10:24:28
325
原创 hadoop常用命令
1： 停止mapreduce任务yarn application -kill 你的mapreduce的id//可以通过8088端口查看
2016-11-28 16:28:59
283
原创 mapreduce程序编写规范
1：用户编写的程序分成三个部分：Map，Reducer，Driver（用户提交mr程序的客户端） 2：map的输入数据是KV对的形式（kv的类型可以自定义） 3：map的输出数据是KV对的形式（kv的类型可以自定义） 4：map中的业务logic写在map()方法中 5：map方法对每一个
2016-11-27 16:14:53
1101
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人