hadoop的配置文件记录

记录自己试验过程中调优hadoop配置的日志。

1. 遇到个问题：datanode硬盘空间不够大，想让hadoop定期删除无用的数据块。

<property> 
    <name>dfs.blockreport.intervalMsec</name> 
    <value>3600000</value> 
    <description>Determines block reporting interval in milliseconds.</description> 
</property>

在hdfs-default.xml中默认配置是3600000ms（1h），即每隔1个小时datanode向namenode汇报存储在自己节点上的所有数据块信息，我改成了60000ms。

还有个参数

dfs.heartbeat.interval

默认是3s，即datanode发送心跳包的间隔时间，其实真正执行在datanode上删除哪一个数据块的命令是namenode发出的，这个命令不是namenode主动发出的（namenode从不主动联系datanode），而是当namenode接到datanode节点的心跳包之后会发送一个响应包，同时这个响应包会顺便捎带namenode给datanode节点的一些命令。

2. 待续...