![](https://img-blog.csdnimg.cn/20200701213130443.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
hadoop浪飞花
0.07M
爱诗词的代码人
展开
-
yarn运行原理
yarn运行的基本原理(yarn2.0)客户端向yarn提交运行程序。ResourceManager向NodeManager分配一个container,在container中启动ApplicationMaster。AppMaster向RM申请运行程序的资源(cpu,core,memory)APPMaster拿到资源后向NM通信,申请运行task任务运行的各个任务向APPMaster报告...原创 2019-08-08 18:52:43 · 231 阅读 · 0 评论 -
hadoop中小文件的处理思路
1 小文件的出现原因 hadoop存储数据是按block存储的,现在默认是128M问一个文件块,一个文件块对应一个maptask。但是,读取的文件如果是200M等非128的倍数的文件块,客户端切分数据必然会产生小的数据块。2小文件造成的问题 这些小的数据块的元数据信息(位置,大小,名称)等都要保存到namenode中,若大量的小文件快信息保存在namnode中会占用很大的服务器内存,如果服务器在此启动要重新加载这些元数据信息到内存中必然要花费很长时间。 同时maptas...原创 2020-06-04 19:35:49 · 231 阅读 · 4 评论 -
hdfs如何保证数据一致性?
1 namenode和SecondaryNamenode(周期性的保存namenode上的元数据信息)元数据一致性。2 namenode和datanode心跳机制保证副本的重新创建,如果DataNode死了,原来保存在这个机器上的副本就的重新再别的机器 上创建了。3 DataNode与DataNode副本创建数据是否一致性(网络传输校验和的问题)4 租约机制,就是保证一个文件中只允许被一个用户写入数据,租约是由NameNode发放给客户端。5 回滚机制,主要体现在hadoop升级的过程..原创 2020-06-05 12:19:20 · 2430 阅读 · 3 评论