Hadoop 2.9.2 centos 7

Hadoop2.9.2伪分布式安装过程
1.关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service

2.修改SELinux安全策略
vi /etc/selinux/config

3. 修改本地host文件
   vi /etc/hosts

填写 “本机ip 主机号 ”
若不知道自己ip 可以使用 ip addr 查看本地ip

4.安装jdk
上传jdk到home目录下，并解压
tar zxvf jdk-8u112-linux-x64.tar.gz -C /opt/

解压后 配置JDK环境变量
vi /etc/profile
并输入一下信息

export JAVA_HOME=/home/jdk1.7.0_45   //修改为自己虚拟机jdk的解压路径
export JRE_HOME=/home/jdk1.7.0_45/jre  //修改为自己虚拟机jdk的解压路径
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

使配置生效： source /etc/profile
检查jdk是否安装成功
输入 命令java，并可通过java -version 查看java的版本

5.安装Hadoop
上传hadoop

进入文件路径并解压
tar zxvf hadoop-2.9.2.tar.gz -C /opt/

进入解压后的hadoop路径
配置hadoop
进入目录
/opt/hadoop-2.9.2/etc/hadoop
找到：hadoop-env.sh，yarn-env.sh，core-site.xml，hdfs-site.xml，mapredsite.
xml 文件，后续将配置以上相关文件（如果配置错误将导致hadoop启动失败，建
议在此处创建虚拟机快照）
注意以下5个配置文件中尽量不要有空格 防止不必要的错误
配置 hadoop-env.sh
vi hadoop-env.sh
添加JAVA_HOME后保存退出
export JAVA_HOME=/home/jdk1.7.0_45
黄色部分填写自己的java路径

配置 core-site.xml
vi core-site.xml
指定HDFS老大的地址，也就是NameNode的地址，value值是主机名加端口号，如果在host文件中添加了主机名和ip映射，主机名也可
以用ip地址换

<property>
<name>fs.default.name</name>
<value>hdfs://hadoop2:9000</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop2:9000</value>
</property>
指定hadoop运行时产生文件的路径
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadooptmp</value>
</property>

hadoop2改为自己虚拟机的名字

配置 hdfs-site.xml
vi hdfs-site.xml
指定hdfs保存数据的副本数量，伪分布式只有一个节点，所以这里填：1

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoopname</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoopdata</value>
</property>

配置 mapred-site.xml
原本hadoop文件夹的etc下是没有mapred-site.xml
通过命令创建：mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

配置 yarn-site.xml
vi yarn-site.xml
添加两个属性，第一个告诉nodemanager获取数据的方式为shuffle

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

第二个指定yarn的老大Resourcemanagger的地址

<property>
<name>yarn.resourcemanager.hostname</name>
<value>rt</value>
</property>

黄色部分填写自己虚拟机主机号

6.将Hadoop安装目录配置到环境变量
vi /etc/profile

 export HADOOP_HOME=/home/hadoop-2.9.2
 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

rt改为自己的 hadoop路径

然后生效：source /etc/profile
7. 格式化NameNode
在/home/hadoop-2.6.0/etc/hadoop 路径下输入命令
hadoop namenode -format

8. 配置本地免秘钥登录
   cd /root
   cd .ssh
   ssh-keygen -t rsa
   cat id_rsa.pub >> authorized_keys
   ssh rt 测试免输入密码
   黄色部分填写自己虚拟机主机号
   如果没有 .ssh路径 则ssh 本地ip

然后就会有.ssh路径了
9.启动hadoop
start-all.sh (第一次会出现选择 填yes就行了)

停止hadoop命令为stop-all.sh
可以通过jps查看进程看hadoop是否运行了

也可以通过
http://虚拟机ip地址:50070
http://虚拟机ip地址:8088
若出现一下页面则表示配置成功了