centos下搭建hadoop平台

环境：centos7.1+hadoop-2.7.2
下载地址：http://apache.fayea.com/hadoop/common/hadoop-2.7.2/
准备好虚拟机或者centos系统以及hadoop框架

1、将hadoop解压到app目录下

tar zxvf hadoop-2.7.2.tar.gz -C app/

2、修改配置文件

第一个：hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/app/jdk1.8.0_91(根据自己配置的jdk路径为准）

第二个：core-site.xml


fs.defaultFS
hdfs://hadoop(主机名):9000



hadoop.tmp.dir
/home/hadoop/hadoop-2.7.2/tmp

第三个：hdfs-site.xml hdfs-default.xml (3)


dfs.replication
1(根据集群中开启的datenode个数定)

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml


mapreduce.framework.name
yarn

第五个：yarn-site.xml


yarn.resourcemanager.hostname
hadoop01



yarn.nodemanager.aux-services
mapreduce_shuffle

3、将hadoop配置到环境变量

命令：vim /etc/proflie
export JAVA_HOME=/app/jdk1.8.0_91
export HADOOP_HOME=/app/hadoop-2.7.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

命令：source /etc/profile（使环境变量配置文件立即生效）

4、格式化namenode（是对namenode进行初始化）

hdfs namenode -format (hadoop namenode -format)

5、启动与验证hadoop

启动hadoop
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
验证是否启动成功
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

http://192.168.1.101:50070 （HDFS管理界面）
http://192.168.1.101:8088 （MR管理界面）

到此为止hadoop环境搭建完成。