大数据
文章平均质量分 81
iteye_19353
这个作者很懒,什么都没留下…
展开
-
Hadoop2.0 编写Yarn应用 8030端口 调度
这个问题比较蛋疼啊,yarn应用不是自己写的(借鉴他人滴),为了兼容mapreduce v1 所以使用了org.apache.hadoop.mapreduce.Job 这个类来做客户端连接如果不考虑兼容问题,可以直接使用 org.apache.hadoop.mapred.JobClient来说说我碰到的这个问题:在多次执行yarn应用后,发现有成功有失败,而且几率不一定。这种问题恼...2012-12-26 19:57:08 · 844 阅读 · 0 评论 -
Hdfs-NameNode启动过程
懒得写了,借阅地址http://www.linuxidc.com/Linux/2012-01/51614.htm原创 2013-04-10 10:36:41 · 110 阅读 · 0 评论 -
归并算法在大文件处理中的使用
本文描述了一下归并算法在大文件处理中的使用.应用场景:1.单个文件,大小>机器内存,对文件数据进行排序(顺序,小->大)2.单个文件,大小>机器内存,对文件数据进行去重简单描述一下大文件排序的思路1.文件拆分2.拆分后的小文件分别排序,为之后的归并排序做准备3.归并排序,这里是核心.首先,因为小文件已经排好序了,那么接下来要做的就是将有序的小文件进...原创 2014-07-25 10:13:45 · 269 阅读 · 0 评论