解决Hadoop一些小问题(整理版)

1 dfsadmin -setQuota的问题
dfsadmin -setQuota 限制文件数量
dfsadmin -setSpaceQuota 限制磁盘空间


2 解决Hadoop小文件问题？
   数据块的默认大小是64M，如果一个文件的大小小于64M，那么它就属于Hadoop的小文件。
这样会浪费空间，所以要使用archive的方式来实现归并小文件。数据块的大小可以使用
dfs.block.size这个属性进行配置。


3 start-dfs.sh的告警信息
unable to load native-hadoop library for your platform…
using built-in java classes
没有找到native库，使用内置的java code,这个说明你没有完全成功地编译的Hadoop系统。

最好下载源码，一步一步编译源代码，得到最终编译后的文件。

欢迎加入微信公众号