hadoop安装配置

这个是很早之前写的一个配置文档了，最近总有人管我要，现在发出来，有些地方可能需要修改。仅供参考。
1.配置Hadoop环境变量
1.1展开hadoop安装包
在master解压主目录中的hadoop压缩包
sudo tar -zxf hadoop-2.6.5.tar.gz
sudo mv hadoop-2.6.5 hadoop
sudo chmod -R +x ~/hadoop
2. 配置Hadoop集群配置文件
2.1修改hadoop-env.sh配置文件
修改hadoop-env.sh中的JAVA_HOME路径
sudo nano ~/hadoop/etc/hadoop/hadoop-env.sh
修改JAVA_HOME路径

export JAVA_HOME=/usr/java/jdk1.8.0_121

保存后退出
2.2修改core-site.xml配置文件
创建Hadoop的默认临时路径
sudo mkdir ~/hadoop/temp
修改每台机器上的core-site.xml
sudo nano ~/hadoop/etc/hadoop/core-site.xml
在加入

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/temp</value>
</property>

2.3修改mapred-site.xml配置文件
将mapred-site.xml.template拷贝到mapred-site.xml
sudo cp ~/hadoop/etc/hadoop/mapred-site.xml.template ~/hadoop/etc/hadoop/mapred-site.xml
修改mapred-site.xml
sudo nano ~/hadoop/etc/hadoop/mapred-site.xml
在加入

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>  
<name>mapreduce.jobhistory.address</name>  
<value>master:10020</value>  
</property>  
<property>  
<name>mapreduce.jobhistory.webapp.address</name>  
<value>master:19888</value>  
</property> 

2.4修改hdfs-site.xml配置文件
修改hdfs-site.xml
sudo nano ~/hadoop/etc/hadoop/hdfs-site.xml
在加入

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>  
<name>dfs.namenode.secondary.http-address</name>  
<value>master:9001</value>  
</property>
<property>     
<name>dfs.webhdfs.enabled</name>  
<value>true</value>  
</property> 
<property>     
<name>dfs.safemode.threshold.pct</name>  
<value>0</value>  
</property> 

2.5修改yarn-env.sh配置文件
修改yarn-env.sh
sudo nano ~/hadoop/etc/hadoop/yarn-env.sh
在# export JAVA_HOME=/home/y/libexec/jdk1.6.0/之上插入

export JAVA_HOME=/usr/java/jdk1.8.0_121

2.6修改yarn-site.xml配置文件
修改yarn-site.xml
sudo nano ~/hadoop/etc/hadoop/yarn-site.xml
在加入

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>

2.7修改masters和slaves配置文件
cd ~/hadoop/etc/hadoop
配置masters
sudo nano masters
加入：
master
配置slaves
sudo nano ~/hadoop/etc/hadoop/slaves

//将hadoop目录发送到slave1上
scp -r ~/hadoop hadoop@slave1:/home/hadoop
//将hadoop目录发送到slave2上
scp -r ~/hadoop hadoop@slave2:/home/hadoop

2.8配置hadoop环境变量
每台机器都需要操作
进入环境变量配置文件
sudo nano ~/.bashrc
注：在最后加入

export HADOOP_HOME=/home/hadoop/hadoop
export PATH=${HADOOP_HOME}/bin:$PATH

source ~/.bashrc
3. 格式化Hadoop集群的HDFS
在master主机上运行
格式化节点（首次启动）
hadoop namenode -format