![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 68
Harvester~
“喜欢鲜花 喜欢浪漫 喜欢一切稀碎的仪式感.”
展开
-
HDFS架构和读写流程
HDFS 读写流程 HDFS组成架构 HDFS,是一个文件系统,用于存储文件,通弄个目录树来定位文件,(分布式的) HDFS的使用场景:适合一次写入,多次读的场景,且不支持文件的修改 HDFS快的大小 HDFS中文件物理上是分块存储(Block),块的大小可以通过(dfs.blocksize)来规定,默认大小Hadoop2.x版本128M,老版本中是64M 思考:为什么块的大小不能设置太小,也不能设置太大 1.HDFS的块设置太小,会增加(寻址)寻找的时间,程序一直在找块的开始位置 2.如果太大,从磁盘传原创 2022-05-28 14:54:43 · 228 阅读 · 0 评论 -
MapReduce 理解
MapReduce 理解 MapReduce原语句 MapReduce原语:“相同”key的键值对为一组调用一次Reduce方法,方法内迭代这组数据进行计算。 MapReduce 采用分治的思想 MapTask & ReduceTask MapReduce的执行流程 数据一般都是存放在HDFS上,MapReduce 计算框架第一步 就是先通过InputFormat的子类将计算需要的数据进行分片(分片的方法式getSplits()),分片的数量决定了MapTask的数量 Ps:并不是所有的文件都可原创 2022-05-26 17:59:05 · 469 阅读 · 0 评论