Centos6.10 hadoop2.9.2安装及配置(单机版)

一、环境
华为云服务器CentOS 6.10 64bit
IP 139.9.177.214
jdk 1.8.0_222
hadoop 2.9.2

hadoop下载：
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
或
https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

wget 指令

云服务器已做设置有：
禁用selinux
vim /etc/sysconfig/selinux
将SELINUX设置为disabled

二、配置步骤
1、使用root用户进入操作系统
2、jdk安装并配置环境变量
3、修改主机名
vim /etc/sysconfig/network
HOSTNAME=hadoop
4、修改机名与ip的对应关系
vim /etc/hosts
localhost.localdomain 改为hadoop
或
新开一行并添加 格式为（IP     机名）
5、重启
reboot
6、免密操作
ssh hadoop
连接本机还需要输入密码，因此我们，还需要设置master与本机的无密码连接，配置如下：
cd ~/.ssh
cat ./id_rsa.pub >> ./authorized_keys
再次输入 ssh Hadoop 就不需要输入密码而直接与本机连接。
7、hadoop相关详情配置
hadoop安装路径/opt/hadoop-2.9.2
7.1 /opt/hadoop-2.9.2/etc/hadoop/hadoop-env.sh   
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk.x86_64
7.2 /opt/hadoop-2.9.2/etc/hadoop/core-site.xml
<property>
 <!-- 指定hadoop运行时产生文件的存储路径 -->
  <name>hadoop.tmp.dir</name>
  <value>/hadoop</value>
</property>

<property>
  <name>dfs.name.dir</name>
  <value>/hadoop/name</value>
</property>

<!-- 指定HDFS老大（namenode）的通信地址 -->
<property>
  <name>fs.default.name</name>
  <value>hdfs://hadoop:9000</value>
</property>
7.3 /opt/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
<!-- 设置namenode的http通讯地址 -->
<property>
    <name>dfs.namenode.http-address</name>
    <value>hadoop:50070</value>
</property>
<property>
  <name>dfs.data.dir</name>
  <value>/hadoop/data</value>
</property>
<!-- 设置hdfs副本数量 -->
<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
7.4 /opt/hadoop-2.9.2/etc/hadoop/mapred-site.xml
mapred-site.xml.template 文件重命名为 mapred-site.xml
mv  mapred-site.xml.template mapred-site.xml

<!-- 通知框架MR使用YARN -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
7.5 /opt/hadoop-2.9.2/etc/hadoop/mapred-site.xml 
<!-- 通知框架MR使用YARN -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
7.6 /opt/hadoop-2.9.2/etc/hadoop/yarn-site.xml
<!-- 通知框架MR使用YARN -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
7.7 格式化文件系统
hadoop namenode -format
7.8 环境变量配置
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk.x86_64
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop-2.9.2
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
7.9 运行系统  
/opt/hadoop-2.9.2/sbin/start-all.sh
或者分别执行
运行dfs
/opt/hadoop-2.9.2/sbin/start-dfs.sh
运行yarn
/opt/hadoop-2.9.2/sbin/start-yarn.sh
7.10 云服务器 安全组 入向规则设置

jps 查看执行进程
139.9.177.214:50070 进入 namenode 的管理界面
139.9.177.214:8088   进入resourceManager的管理界面