单节点下安装及配置Hadoop

一、在VMware中安装Centos7

1. 在VMware中创建Liniux系统，并启动（CentOS 7）（见之前的VMware Workstation安装Conteos7创建教程）
2. 输入：vi /etc/sysconfig/network-scripts/ifcfg-enp0s3配置如下信息：

BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.87.101

3. 配置完网卡后需要重启网络，输入：systemctl restart network
4. 关闭防火墙，输入：systemctl stop firewalld
5. 把防火墙杀死，输入：systemctl disable firewalld
6. 连接MobaXterm，远程控制

二、配置主机名

1. 输入：vi /etc/hostname把主机名改为hadoop01
2. 输入：vi /etc/hosts 把本机的ip和主机名添加进去192.168.87.101 hadoop01
3. 输入：hostnamectl set-hostname hadoop01 使用这个命令主机名会立即生效且重启也生效

三、生成密钥

1. 进入root目录下，输入：ssh-keygen -t rsa -P ""生成密码
   【注】出现这样的情况只需按回车就行
   
2. 密钥生成完了之后，输入：cat .ssh/id_rsa.pub >> .ssh/authorized_keys

四、安装hadoop及jdk

下载hadoop及jdk相关压缩包：
链接：https://pan.baidu.com/s/15GInbWAhX3IU-NwSSLlINQ
提取码：fbvj
1.在根目录下创建一个software目录并进入

mkdir /software
cd /software

2.把hadoop、hadoop-native和jdk的压缩包拖入software目录下,把下面的Follow terminal folder勾上以便目录跳转查看

3.把hadoop和jdk压缩包解压到opt目录下：
hadoop：tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt
hadoop-native：解压两次分别解压到解压好的hadoop-2.6.0-cdh5.14.2/lib/native/目录和hadoop-2.6.0-cdh5.14.2/lib目录下，因为该压缩包没有.gz后缀，所以解压方式为tar -xvf
tar -xvf hadoop-native-64-2.6.0.tar -C /opt/hadoop-2.6.0-cdh5.14.2/lib/native/
tar -xvf hadoop-native-64-2.6.0.tar -C /opt/hadoop-2.6.0-cdh5.14.2/lib

jdk：tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt
4.输入：cd /opt进入opt目录下，改名

mv jdk1.8.0_221/ jdk18
mv hadoop-2.6.0-cdh5.14.2/ hadoop

5.配置jdk环境，输入：vi /etc/profile进入环境配置界面
按shift+g跳到最后一行按o进入编辑模式，把如下代码写入

export JAVA_HOME=/opt/jdk18
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

Esc+:x 退出并保存
6.输入：source /etc/profile加载配置的环境变量
7.输入：java -version查看jdk是否配置成功
如果出现如下的代码说明jdk安装和配置成功

五、配置hadoop

【注】hadoop的相关配置文件在hadoop的etc/hadoop的目录下

1. 输入：cd /opt/hadoop/etc/hadoop
2. 配置hadoop-env.sh，输入：vi hadoop-env.sh，把JAVA_HOME改成jdk的全路径
   
3. 配置core-site.xml,输入：vi core-site.xml，在configuration下面配置

<configuration>
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://192.168.87.101:9000</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/hadoop/tmp</value>
 </property>
 <property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
 </property>
 <property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
 </property>
</configuration>

4. 配置hdfs-site.xml，输入：vi hdfs-site.xml，在configuration下面配置

<configuration>
 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
 <property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>hadoop01:50090</value>
 </property>
</configuration>

5. 配置mapred-site.xml，输入：vi mapred-site.xml，在configuration下面配置

<configuration>
 <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
 </property>
 <property>
  <name>mapreduce.jobhistory.address</name>
  <value>hadoop01:10020</value>
 </property>
 <property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>hadoop01:19888</value>
 </property>
</configuration>

6. 配置yarn-site.xml，输入：vi yarn-site.xml，在configuration下面配置

<configuration>
<!-- Site specific YARN configuration properties -->
<!-- reducer获取数据方式 -->
 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
 <property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
 <!-- 指定YARN的ResourceManager的地址 -->
 <property>
  <name>yarn.resourcemanager.hostname</name>
  <value>hadoop01</value>
 </property>
 <!-- 日志聚集功能使用 -->
 <property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
 </property>
 <!-- 日志保留时间设置7天 -->
 <property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
 </property>
</configuration>

7. 配置slaves，输入：vi slaves，改为主机名

hadoop01

8. 配置hadoop环境变量，输入：vi /etc/profile，把以下信息放入到最后一行

export HADOOP_HOME=/opt/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

9. 配置完成后记得要source /etc/profile，重新读取配置信息环境变量才能生效
10. 格式化HDFS，输入：cd /opt/hadoop目录下，输入：hadoop namenode -format格式化hdfs
11. 启动hadoop，输入：start-all.sh
12. 启动历史服务，输入：mr-jobhistory-daemon.sh start historyserver
13. 输入：jps查看hadoop的进程
    
    如果出现以上7条进程，说明hadoop启动成功，多的话不影响，安装完成