HDFS是设计来存储和管理大数据的,因此典型的HDFS块大小明显比平时我们看到的传统文件系统块大得多,块大小的设置用来将大文件切割成一个数据块,再将这些数据块分发到集群上,例如集群的块大小设置为64MB,一个128MB的文件上传到HDFS上,HDFS会将这个文件切分成2(128/64)个数据块,再将这两块数据分发到集群的数据节点上。
设置块大小:
打开hdfs-site.xml,(在hadoop安装目录下的conf文件夹里)
操作步骤:
设置hdfs-site.xml下面的属性值:
<property>
<name>dfs.block.size</name>
<value>134217728</value> --修改为128M
<description>Block size</description>
</property>
修改说明:
hdfs-site.xml是HDFS的配置文件,修改hdfs-site.xml配置文件的dfs.block.size属性值就会改变上传到HDFS所有文件的默认块大小。修改这个值并不会对HDFS上现存的任何文件的块大小产生影响,只会改变新上传文件的块大小。
设置块大小:
打开hdfs-site.xml,(在hadoop安装目录下的conf文件夹里)
操作步骤:
设置hdfs-site.xml下面的属性值:
<property>
<name>dfs.block.size</name>
<value>134217728</value> --修改为128M
<description>Block size</description>
</property>
修改说明:
hdfs-site.xml是HDFS的配置文件,修改hdfs-site.xml配置文件的dfs.block.size属性值就会改变上传到HDFS所有文件的默认块大小。修改这个值并不会对HDFS上现存的任何文件的块大小产生影响,只会改变新上传文件的块大小。
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/15498/viewspace-2136139/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/15498/viewspace-2136139/