Hadoop
文章平均质量分 65
aaaaajiboke
你可以称呼我大佬
展开
-
fsimage与editslog
fsimage与editslogNameNode中的元数据是在内存中用ArrayList保存的,但是要考虑到如果电脑停电了突然关机了,那么NameNode中的元数据就被释放掉没有了,所以就有editslog,editslog包含了元数据还有一系列的操作。如果要使用这些数据,在开机的时候就会加载editslog,恢复到关机之前的场景,因为我们处理的是大数据,里面有亿万级的操作,每次开机的时候很慢...原创 2018-09-18 19:52:32 · 897 阅读 · 1 评论 -
MapReduce处理数据
1、编写自定义类如果写二次排序的话再在里面添加package org.hdfs.urlMapReduce;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;public class...原创 2018-09-25 11:40:42 · 1257 阅读 · 0 评论 -
Hadoop1000条笔记总汇
作者笔记汇总Zookeeper用于集群主备切换。YARN让集群具备更好的扩展性。Spark没有存储能力。Spark的Master负责集群的资源管理,Slave用于执行计算任务。Hadoop从2.x开始,把存储和计算分离开来,形成两个相对独立的子集群:HDFS和YARN,MapReduce依附于YARN来运行。YARN可以为符合YARN编程接口需求的集群提供调度服务。YARN:R...转载 2018-10-10 19:16:03 · 347 阅读 · 0 评论