HDAOOP平台搭建初步过程

一：配置VM中的网络环境

以管理员形式运行VMware
打开三台虚拟机：master slave1 slave2
打开虚拟网络编辑器，对VMnet8进行NAT模式链接
记住其IP地址
计算机—网络—更改适配器—右键VMnet8属性—Internet协议4配置IP地址
禁用VMnet8，启用VMnet8

二：在VM中配置虚拟机的网络环境:（改名和配置环境顺序可以不一样）
1.
vi /etc/sysconfig/network-scripts/ifcfg-ens33
3.
将BooTPR070=“none”中的none改为static
并在文本最后一行下面添加：
                                         IPADDR=192.168. X.X
                                         GATEWAY=192.168.X.X
                                         NETMASK=255.255.255.0 
                                         DNS1=8.8.8.8
保存退出
4.
改名：master虚拟机下：
hostnamectl set-hostname master    #永久改主机名
systemctl restart network                  #重启网卡
slave1虚拟机下：
hostnamectl set-hostname slave1
systemctl restart network    
slave2虚拟机下：
hostnamectl set-hostname slave2
systemctl restart network
5.
 解决xshell连接虚拟机慢的操作：
vi /etc/ssh/sshd_config       找到#UseDNS  yes==》  删除#，将yes改为no
systemctl restart sshd   #重启远程登入服务
6.
关闭防火墙：systemctl stop firewalld    查看防火墙状态：systemctl status firewalld
7.
关机重启虚拟机

三：hadoop与java的配置：
1.
cd 进入目录
ls 查看目录内容
cd ~ 进入用户主目录
software目录就在主目录下
2.
（opt为根目录的opt）
[root@master ~]cd software   进入software目录
[root@master software]ls     查看software目录下的内容
jdk...   hadoop...   ...
[root@master software]cp jdk... /opt   拷贝software目录下的jdk和hadoop到/opt目录
[root@master software]cd /opt
[root@master opt]tar xzvf jdk...     解压jdk
[root@master opt]tar xzvf hadoop...  解压hadoop
[root@master opt]ls  查看opt目录下的内容
jdk...     hadoop...
[root@master opt]mv jdk... java
[root@master opt]mv hadoop... hadoop  重命名
4.
为hadoop配置环境:
配置环境：
[root@master opt]vi /etc/profile
按shift+G进入文件末尾，输入以下内容：
export JAVA_HOME=/opt/java
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/opt/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
5.
保存退出（按Esc首先退出编辑模式，再按Shift+:进入命令输入模式，输入x或者wq）
[root@master opt]source /etc/profile   让配置重新加载
[root@master opt]java -version
6.
[root@master opt]vi /etc/hosts  配置iP与主机名称的对应关系
192.168.234.101 master
192.168.234.102 slave1
192.168.234.103 slave2
7.
检查配置
[root@master opt]vi /etc/hosts 3台机器都查
8.
免密配置（按照顺序操作）
①、master操作：ssh-keygen -t rsa -P ''
②、slave1操作：ssh-keygen -t rsa -P ''
③、slave2操作：ssh-keygen -t rsa -P ''
④、master操作：cat .ssh/id_rsa.pub > .ssh/authorized_keys
⑤、master操作：scp .ssh/authorized_keys root@slave1:~/.ssh/
⑥、master操作：ssh slave1
⑦、slave1操作：cat .ssh/id_rsa.pub >> .ssh/authorized_keys
⑧、slave1操作：scp .ssh/authorized_keys root@slave2:~/.ssh/
⑨、slave1操作：exit
⑩、master操作：ssh slave2
⑪、slave2操作：cat .ssh/id_rsa.pub >> .ssh/authorized_keys
⑫、slave2操作：scp .ssh/authorized_keys root@slave1:~/.ssh/
⑬、slave2操作：scp .ssh/authorized_keys root@master:~/.ssh/
⑭、slave2操作：exit
⑮、master操作：ssh slavel
⑯、slave1操作：ssh master

四安装配置Hadoop：
1.
进入目录：（依次进入）
cd /opt/hadoop/etc/hadoop/       进入后ls
2.
配置core-site.xml
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
    <description>文件系统访问服务地址</description>
  </property>
</configuration>
3.
配置hdfs-site.xml
<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/dfs/name</value>
    <description>名称节点目录地址</description>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/dfs/data</value>
    <description>数据节点目录地址</description>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
    <description>数据副本个数</description>
  </property>
</configuration>

4.
配置yarn-site.xml:
<configuration>

<!-- Site specific YARN configuration properties -->
 <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master:8033</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:8088</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
  </property>

</configuration>

5.
配置mapred-site.xml（首先先改名，降mapred-site.xml_sample改名为mapred-site.xml）
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
  </property>

</configuration>
6.
配置hadoop-env.sh
文件末尾添加   export JAVA_HOME=/opt/java
7.

8.

9.
vi slaves:
删除localhost，添加：
 slave1
 slave2
192.168.189.102 slave1
192.168.189.103 slave2

9.1
创建目录：
[root@master hadoop]# mkdir /opt/hadoop/dfs/name -p
[root@master dfs]# mkdir /opt/hadoop/dfs/data -p

10.
拷贝hadoop安装文件到集群slave节点
scp -r /opt/hadoop root@slave1:/opt
scp -r /opt/hadoop root@slave2:/opt
scp -r /opt/java root@slave1:/opt
scp -r /opt/java root@slave2:/opt
拷贝 profile  
scp -r /etc/profile root@slave1:/etc
scp -r /etc/profile root@slave2:/etc
关闭防火墙：systemctl stop firewalld

五：Hadoop集群的启动
1.格式化NameNode
进入目录
cd /opt/hadoop/bin
执行格式化
./hdfs namenode -format
2.
启动集群
进入目录:
cd /opt/hadoop
全部启动：start-all.sh
查看实验报告：hdfs dfsadmin -report
执行启动：
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
进入目录
cd /opt/hadoop
执行启动JobHistoryServer:
mr-jobhistory-daemon.sh start historyserver
3.
查看集群的进程
[root@master sbin]# jps
正确的为：1765 NameNode
                 1929 SecondaryNameNode
                 2378 JobHistoryServer
                 2412 Jps
                 2077 ResourceManager
4.
添加映射
在Windows下C:\Windows\System32\drivers\etc\hosts添加IP映射
192.168.x.x master
192.168.x.x slave1 
192.168.x.x slave2 
5.
浏览器查看:
http://master:9000
http://master:50070
http://master:8088