devcy的博客

MapReduce

block、packet与chunk在DFSClient写HDFS的过程中，有三个需要搞清楚的单位：block、packet与chunk；block是最大的一个单位，它是最终存储于DataNode上的数据粒度，由dfs.block.size参数决定，默认是64M；注：这个参数由客户端配置决定；packet是中等的一个单位，它是数据由DFSClient流向DataNode的粒度，以dfs.write...

每个block上传的过程，写完一个上传下一个？

由Hive自定义函数引出Hive的架构和底层原理

一、Hadoop版本综述目前Hadoop发行版非常多，有华为发行版、Intel发行版、Cloudera发行版（CDH）等，所有这些发行版均是基于Apache Hadoop衍生出来的，之所以有这么多的版本，完全是由Apache Hadoop的开源协议决定的：任何人可以对其进行修改，并作为开源或商业产品发布/销售。(http://www.apache.org/licenses/LICENSE-2.0)...