HDFS
程序猿劝退师
绝对不做愚蠢且懒惰的人
展开
-
hdfs —— 为什么hadoop1块大小要设置成64M,hadoop2设置成128M
总结128M相对hadoop2开源时的数据传输网络io和磁盘io更匹配如果公司集群带宽和磁盘io速度更加优秀,完全可以根据实际进行调优,256M、512M等.这个是一个在大数据集群中一个比较好的调优方向猜测:hadoop1当时可能处于硬件较落后的时代,64M为当时最优数据传输量级,也有可能当时开源人员未曾考虑这一层。而hadoop2之后考虑这层之后或者应对当时硬件效率更改为128M论据1、现在大部分集群节点之间使用千兆网卡,实际数据传输速度大约在100M/s2、当时磁盘写入也大多原创 2021-04-15 10:48:57 · 937 阅读 · 0 评论 -
hadoop —— hdfs读写原理
首先从数据采集处>存到HDFS上,解决数据存不下问题>>>分布式存储,横向发展增加存储服务器个数解决数据查询不方便>>>NN的元数据存储解决数据的故障丢失问题>>>副本机制解决上传下载效率低下问题>>>文件切块HDFS对数据文件进行split,切成的block大小hadoop1.X 默认64M,2.X...原创 2019-02-22 18:00:58 · 589 阅读 · 0 评论