hadoop相关疑点问题

块大小的设置问题
https://blog.csdn.net/jzero_2008/article/details/80574101
HDFS datanode心跳机制
https://www.cnblogs.com/huaxiaoyao/p/6396273.html
HDFS的写，读，检查点
https://www.sohu.com/a/300240640_315839
https://www.jianshu.com/p/af2aeb89d824
http://www.sohu.com/a/279397319_796914
https://blog.csdn.net/whdxjbw/article/details/81072207
https://blog.csdn.net/liudongdong0909/article/details/79168146
https://www.cnblogs.com/yaboya/p/9192615.html
https://www.cnblogs.com/qingyunzong/p/8548806.html
https://blog.csdn.net/qq_38704184/article/details/84402820
https://blog.csdn.net/weixin_37838429/article/details/81674765
https://www.iteye.com/blog/flyingdutchman-1874824
一旦失败，应答队列里面的package重新回到数据对列的开头，重新发送，以保证数据的完整性。
元数据管理机制
https://blog.csdn.net/qq_38200548/article/details/83108422
Hadoop的Writable类
开始读取文件内容时,这里的LongWritable的key是行的偏移量，表示该行在文件中的位置，而不是行号
这里的IntWritable的key是行号
https://blog.csdn.net/panjiao119/article/details/80000997
namenod1元数据管理
当对元数据进行更新操作，（比如上传一个文件，删除一个文件等），
写的时候如果合理，先记录到日志文件中，然后在namenode1中创建一个文件，此时的文件和数据块还没有对应关系
https://blog.csdn.net/lb812913059/article/details/78713634
HA机制
https://www.cnblogs.com/dadadechengzi/p/6715906.html
MapReduce详解
在Reduce进行迭代之前，会对相同的键进行分组；
key值会随着value的迭代而不断的变化。reduce端的reduce方法接到map传来的数据并不是我们根据参数类型而认为的<hello,{1,1,1,1,1,1…}>而是<hello,1>,<hello,1>,<hello,1>,<hello,1>…
然后对分别每一组操作进行reduce，对值进行迭代,每次迭代都会切换到下一个kv对,kv都是会变的,只是k相同而已。
之shuffler
https://blog.csdn.net/u014374284/article/details/49205885
https://blog.csdn.net/asn_forever/article/details/81233547
解决单点故障的问题
datanode与datanode之间的通信为rpc
https://www.cnblogs.com/sxt-zkys/archive/2017/07/24/7229857.html
https://www.jianshu.com/p/8a2feb8b2bae
yarn详解
https://www.jianshu.com/p/9a9333f6313c
job调度详解
https://blog.csdn.net/zhanglh046/article/details/78567169
https://www.jianshu.com/p/9a9333f6313c
https://blog.csdn.net/weixin_40102671/article/details/80628896
https://blog.csdn.net/cjDaShuJu_Java/article/details/79735093
LazyOutputFormat.setOutputFormatClass(job, TextOutputFormat.class)
https://blog.51cto.com/qinheng/1541477
java和hadoop序列化比较机制
https://blog.csdn.net/zq602316498/article/details/45190175
mr自定义输出分区
https://blog.csdn.net/weixin_43297055/article/details/84872198
mapreduce的容错机制
https://blog.csdn.net/qiruiduni/article/details/48285593
YARN ApplicationMaster与ResourceManager之间基于applicationmaster_protocol.proto协议的allocate()接口源码解析
https://blog.csdn.net/zhanyuanlin/article/details/74012644
MapReduce调优（完美版）
http://www.imooc.com/article/253941
http://f.dataguru.cn/hadoop-745347-1-1.html
https://www.jianshu.com/p/f8883673c2af
Hadoop Pipeline详解
http://dj1211.com/?p=178
NameNode处于安全模式(safemode)原因以及处理
https://blog.csdn.net/l1212xiao/article/details/80403090
当集群启动的时候，会首先进入到安全模式。系统在安全模式下，会检查数据块的完整性。
yarn资源memory与core计算配置
https://www.cnblogs.com/xjh713/p/9855238.html