怎么改变HDFS块大小

最新推荐文章于 2024-02-14 13:05:20 发布

慢生活家

最新推荐文章于 2024-02-14 13:05:20 发布

阅读量3.3k

点赞数

分类专栏： Hadoop 文章标签： hdfs

本文链接：https://blog.csdn.net/u010230476/article/details/40475767

版权

12 篇文章 0 订阅

订阅专栏

1.上传test1.txt
[hadoop@Master hadoop]$ hadoop fs -put /home/hadoop/input/test1.txt /usr/hadoop/in
Warning: $HADOOP_HOME is deprecated.

2.查看上传的文件大小

[hadoop@Master hadoop]$ hadoop fs -stat "%o" /usr/hadoop/in/test1.txt
Warning: $HADOOP_HOME is deprecated.

67108864

3.修改hdfs-site.xml配置文件，增加全局参数dfs.block.size

        <property>
                 <name>dfs.block.size</name>
                 <value>512000</value>
         </property>

注意：blockSize必须是io.bytes.per.checksum的整数倍，否则会报错

put: io.bytes.per.checksum(512) and blockSize(100000) do not match. blockSize should be a multiple of io.bytes.per.checksum

4.再上传test1.txt文件

[hadoop@Master bin]$ hadoop fs -put /home/hadoop/input/test1.txt /usr/hadoop/in/test1000.txt

5.查看test1000.txt文件大小

[hadoop@Master bin]$ hadoop fs -stat "%o" /usr/hadoop/in/test1000.txt
Warning: $HADOOP_HOME is deprecated.

512000

关注