hadoop的安装及环境配置

Hadoop的安装及配置
Hadoop的版本是Hadoop-2.7.3

一、安装解压Java jdk
1、下载Java jdk1.8.0-121，在opt内新建一个目录mkdir module
2、将jkd解压到module里
tar -zxvf ~/jdk****.jar -C/opt/module
3、配置Java环境
vi /etc/profile
1.#在文件最后添加
2.export JAVA_HOME=/opt/module/jdk1.8.0_121
3.export PATH=$PATH:$JAVA_HOME/bin
4.#刷新配置
5.source /etc/profile
4、测试是否安装成功：Java-version

二、安装hadoop
1、在虚拟机的根目录下，将下好的Hadoop版本解压到module文件目录里
tar -zxvf hadoop-2.7.3.jar.gz -C/opt/module
2、进入Hadoop目录：/opt/module/hadoop-2.7.3/etc/hadoop

三、修改配置文件
1、修改hadoop-env.sh，配置java jdk路径，大概在27行配置，如下：
export JAVA_HOME=/opt/module/jdk-1.8.0_121
2、修改core-site.xml，配置内容如下：

<name>fs.defaultFS</name>
<value>hdfs://locahost:9000</value>

<name>hadoop.tmp.dir</name>
<value>/cloud/hadoop/tmp</value>

3、修改hdfs-site.xml，修改配置如下：

<name>dfs.replication</name>
<value>1</value>

4、修改mapred-site.xml 由于在配置文件目录下没有，需要修改名称：mv mapred-site.xml.template mapred-site.xml

<name>mapreduce.framework.name</name>
<value>yarn</value>

5、修改yarn-site.xml，修改内容如下

<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>

<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>

6、添加Hadoop的环境变量

export JAVA_HOME=/opt/module/jdk1.7
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

7、更新环境变量：source /etc/profile

四、启动hadoop

1、格式化hadoop，进入目录：/opt/module/hadoop-2.7.3/etc/hadoop，执行下列之一命令即可
hadoop namenode -format （过时）
hdfs namenode -format

2、启动hdfs和yarn
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh

3、验证是否成功：使用命令：jps，输出如下即表示配置成功。
12272 Jps
4135 JobTracker
9500 SecondaryNameNode
9943 NodeManager
9664 ResourceManager
8898 NameNode
9174 DataNode

4、可以在浏览器中查看hdfs和mr的状态.
hdfs管理界面：http://localhost:50070
MR的管理界面：http://localhost:8088

五、若两个页面都能实现，说明你已安装好Hadoop