![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
青眼酷白龙
这个作者很懒,什么都没留下…
展开
-
HDFS写详解 block、packet与chunk
block、packet与chunk 在DFSClient写HDFS的过程中,有三个需要搞清楚的单位:block、packet与chunk; block是最大的一个单位,它是最终存储于DataNode上的数据粒度,由dfs.block.size参数决定,默认是64M;注:这个参数由客户端配置决定; packet是中等的一个单位,它是数据由DFSClient流向DataNode的粒度,以dfs.write.packet.size参数为参考值,默认是64K;注:这个参数为参考值,是指真正在进行数据传输时,会以原创 2020-06-13 23:03:29 · 487 阅读 · 0 评论 -
MapReduce执行流程解析(自己手绘2小时)
原创 2020-05-22 22:06:04 · 146 阅读 · 0 评论 -
mapreduce入门之wordcount案例
MapReduce入门之wordcount案例 1 pom.xml的配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/原创 2020-05-20 22:29:32 · 217 阅读 · 0 评论 -
HDFS的读数据流程
原创 2020-05-19 23:08:24 · 95 阅读 · 0 评论 -
HDFS的写数据流程(亲自手画2小时的具体流程图)
原创 2020-05-19 22:26:22 · 340 阅读 · 0 评论