- 博客(5)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 hadoop的mapreduce作业中出现Java heap space，你认为该如何解决？
hadoop的mapreduce作业中经常出现Java heap space解决方案“为什么我的mapreduce作业总是运行到某个阶段就报出如下错误，然后失败呢？以前同一个作业没出现过的呀？”10/01/10 12:48:01 INFO mapred.JobClient: Task Id : attempt_201001061331_0002_m_000027_0, Status : FAILED
2017-06-27 00:47:11
1845
原创 第二代MapReduce阶段解析
MR1存在的问题： 1、JobTracker 是 Map-reduce 的集中处理点，存在单点故障。2、JobTracker 完成了太多的任务，造成了过多的资源消耗，当 map-reduce job 非常多的时候，会造成很大的内存开销，潜在来说，也增加了 JobTracker fail 的风险，这也是业界普遍总结出老 Hadoop 的 Map-Reduce 只能支持 4000 节点主机的上限。3、
2017-06-24 16:47:42
468
原创 map-reduce阶段中的数据倾斜问题
MapReduce数据倾斜： mapreduce处理过程有一个特点，相同的key，只能是发给同一个reduce进行处理。原因：hadoop源码中有一行代码，(key.hashcode())%numReduce，先把key进行hash然后除以reduce的个数取余，相同的key的hashcode肯定一样，而且reduce数也确认，那肯定是相同的key都发给了同一个reduce了举例：假设普通的key
2017-06-24 01:52:36
2658
原创 map-reduce处理过程解析
这里暂时把处理过程分为2个阶段： 1、map阶段：其实就是解析出一个一个key-value 2、reduce阶段：则是得到一个key-values，把map阶段同一个key的value统计起来，形成一个values。map数：是由输入目录的文件数和文件大小决定的。 举例，4个小文件（小于64M）和一个大文件80M，默认的datanode的block大小为64M，则map数为4+2=6个。理解m
2017-06-24 01:30:24
691
转载 java eclipse关于JDK版本转换以及JDK版本查看
最近做一个项目，由于JDK版本过低导致项目无法运行，要切换到JDK1.8，Java 8版本运行，虽然很简单，但是容易被遗漏：具体步奏：1.安装Java 82.设置java路径：windows—–java——Installed JREs —–add———选中java版本jre83.设置项目架包：选中项目——右键———properties——-java Build Path——–add Lib
2017-06-01 16:15:19
867
基于socket的rpc
2018-01-17
一个简单的RMI程序demo
2018-01-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人