记录自己试验过程中调优hadoop配置的日志。
1. 遇到个问题:datanode硬盘空间不够大,想让hadoop定期删除无用的数据块。
<property>
<name>dfs.blockreport.intervalMsec</name>
<value>3600000</value>
<description>Determines block reporting interval in milliseconds.</description>
</property>
在hdfs-default.xml中默认配置是3600000ms(1h),即每隔1个小时datanode向namenode汇报存储在自己节点上的所有数据块信息,我改成了60000ms。
还有个参数
dfs.heartbeat.interval
默认是3s,即datanode发送心跳包的间隔时间,其实真正执行在datanode上删除哪一个数据块的命令是namenode发出的,这个命令不是namenode主动发出的(namenode从不主动联系datanode),而是当namenode接到datanode节点的心跳包之后会发送一个响应包,同时这个响应包会顺便捎带namenode给datanode节点的一些命令。
2. 待续...