1 dfsadmin -setQuota的问题
dfsadmin -setQuota 限制文件数量
dfsadmin -setSpaceQuota 限制磁盘空间
2 解决Hadoop小文件问题?
数据块的默认大小是64M,如果一个文件的大小小于64M,那么它就属于Hadoop的小文件。
这样会浪费空间,所以要使用archive的方式来实现归并小文件。数据块的大小可以使用
dfs.block.size这个属性进行配置。
3 start-dfs.sh的告警信息
unable to load native-hadoop library for your platform…
using built-in java classes
没有找到native库,使用内置的java code,这个说明你没有完全成功地编译的Hadoop系统。
dfsadmin -setQuota 限制文件数量
dfsadmin -setSpaceQuota 限制磁盘空间
2 解决Hadoop小文件问题?
数据块的默认大小是64M,如果一个文件的大小小于64M,那么它就属于Hadoop的小文件。
这样会浪费空间,所以要使用archive的方式来实现归并小文件。数据块的大小可以使用
dfs.block.size这个属性进行配置。
3 start-dfs.sh的告警信息
unable to load native-hadoop library for your platform…
using built-in java classes
没有找到native库,使用内置的java code,这个说明你没有完全成功地编译的Hadoop系统。
最好下载源码,一步一步编译源代码,得到最终编译后的文件。
欢迎加入微信公众号