Hadoop(0.21.0) 常用基本配置

1. Master与Slaver部署在同一台机器

有时候可能我们并没有那么多机器，比如只有两台，这时候想把一台机器既作为master又作为slaver，只需要在conf/slaves中添加上master即可

比如：

master 192.168.1.100
slave1 192.168.1.101
slave2 192.168.1.102

则conf/master

master

conf/slaves

master
slave1
slave2

2. 设置HDFS使用已有的存储，需要修改一下配置

#指定日志输出路径
export HADOOP_LOG_DIR=/hadoop/logs
#指定pid文件存储路径，防止不能正常执行 bin/stop-all.sh
export HADOOP_PID_DIR=/hadoop/pids

conf/core-site.xml

<property>
 	<name>fs.default.name</name>
  	<value>hdfs://master:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/hadoop</value>
</property>

conf/hdfs-site.xml

<property>
 	<name>dfs.replication</name>
  	<value>3</value>
</property>
<property>
	<name>dfs.data.dir</name>
	<value>${hadoop.tmp.dir}/dfs/data</value>
</property>
<property>
	<name>dfs.name.dir</name>
	<value>${hadoop.tmp.dir}/dfs/name</value>
</property>

conf/mapred-site.xml

<property>
 	<name>mapred.job.tracker</name>
  	<value>master:9001</value>
</property>
<property>
	<name>mapred.system.dir</name>
	<value>${hadoop.tmp.dir}/mapred/system</value>
</property>
<property>
	<name>mapred.local.dir</name>
	<value>${hadoop.tmp.dir}/mapred/local</value>
</property>