Hadoop
jordandandan
这个作者很懒,什么都没留下…
展开
-
Hadoop 关于namenode 无法启动问题
最近遇到了一个问题,执行start-all.sh的时候发现JPS一下namenode没有启动 每次开机都得重新格式化一下namenode才可以 其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失 于是我们得重新配置一个tmp文件目录 首先在home目录下建立一个hado转载 2014-12-05 19:08:57 · 523 阅读 · 0 评论 -
MapReduce 算法设计(二)--- Pairs 和 Stripes
之前提到从MapReduce 可控和不可控的方面我们可以挖掘出一些有用的设计模式。在可控方面Key 和Value 数据结构的自定义给了我们很大的发挥空间。 本篇要讲述的就是Pairs 和Stripes 。这两种设计模式并没有利用MapReduce 的框架机制,而是巧妙的利用数据结构来实现的。但是依然可以利用我们之前提到的Combiner 和In-Mapper Combining 来进行效率优化。转载 2014-12-14 15:25:49 · 956 阅读 · 0 评论 -
MapReuce 算法设计(一)---Combiner 和 In-Mapper Combing
MapReduce 算法设计 MapReduce 是一种编程模式,在很大程度上借鉴了函数式语言。它主要的思想是分而治之(divide and conquer)。将一个大的问题切分成很多小的问题,然后在集群中的各个节点上执行,这既是Map过程。在Map过程结束之后,会有一个Ruduce的过程,这个过程即将所有的Map阶段产出的结果进行汇集。 上述过程可以说是一个显而易见的过程,所以说MapR转载 2014-12-14 15:25:20 · 842 阅读 · 0 评论