Hadoop中伪分布式和完全分布式的搭建

配置hadoop环境

（在终端进行）
1.首先关闭防火墙：
	关闭防火墙： systemctl stop firewalld.service
	查看防火墙状态：firewall-cmd --state
	关闭防火墙的开机自启: systemctl disable firewalld.service

2.修改配置文件与IP地址：
	(vi模式进入)文件vi /etc/sysconfig/network-scripts/ifcfg-ens33
进行修改内容：
TYPE=Ethernet
BOOTPROTO=static
NAME=ens33
DEVICE=ens33
ONBOOT=yes  
IPADDR=192.168.102.102（IP地址自己修改）
PREFIX=24
GATEWAY=192.168.102.2
DNS1=192.168.102.2
DNS2=8.8.8.8

	wq保存退出文件

3.重启网络：service network restart（出现ok即为成功）
	重启网络服务：systemctl restart NetworkManager
	
4.查看网卡信息：ifconfig（查看IP地址）

5.在本机CMD里面ping虚拟机IP地址
在虚拟机终端ping 虚拟机IP地址和www.baidu.com检测是否能够联网

6.修改主机名：vi /etc/hostname(hostname可查看当前主机名）

7.更改虚拟机映射文件：vi /etc/hosts 
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.102.102 hadoop102（把自己的IP地址和主机名写在最后一行,注意两者之间有tap键空格，搭建完全分布式需要将主机从机全部写入）

8.更改windows里的映射：文件C:\Windows\System32\drivers\etc\hosts （添加虚拟机IP地址与主机名）

9.上传jdk与hadoop文件 到/home/bigdate（如上传文件到虚拟机不成功，或windows连接不上虚拟机，可在虚拟机联网下载文件‘可使用云盘保存文件下载，如微云，百度网盘等’）
先查看是否安装jdk：rpm -qa | grep jdk
卸载jdk：rpm -e 文件名 --nodeps
解压文件jdk与hadoop：tar -zxvf 压缩包名字（解压后查看文件内容是否完整）
改名字  mv jdk1.8.0_101  jdk
改名字  mv hadoop-2.7.1 hadoop

10.配置jdk与hadoop环境变量：vi /etc/profile

export JAVA_HOME=/home/bigdate/jdk （路径改成自己的jdk位置）
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
	
export HADOOP_HOME=/home/bigdate/hadoop	（路径改成自己的hadoop位置）
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH


（配置后保存wq退出，并使环境生效source /etc/profile）

11.验证jdk与hadoop是否安装成功
java -version	
hadoop version
（如分别出现java与hadoop的版本信息表示成功）




伪分布式的搭建（一台配置好的服务器）

1.配置ssh免密服务
ssh-keygen -t rsa  生成公钥和私钥，(一路回车)

进入~/.ssh目录下，将id_rsa.pub复制一份文件，文件名为authorized_keys（可以保证出错不损坏文件）
cd ~/.ssh
cp id_rsa.pub authorized_keys

使用ssh-copy-id命令（分配密钥到）
ssh-copy-id -i id_rsa.pub
ssh-copy-id 主机名

2.进行验证：ssh 主机名
#输入yes后，不提示输入密码就对了

3.修改hadoop文件：进入 /home/bigdata/hadoop/etc/hadoop

修改第一个文件 vi core-site.xml
<configuration>
    <!-- 配置分布式文件系统的schema和ip以及port,默认8020-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost/</value>
    </property>
</configuration>：

修改第二个文件 vi hdfs-site.xml
<configuration>
    <!-- 配置副本数，注意，伪分布模式只能是1。-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

修改第三个文件 vi hadoop-env.sh
找到export JAVA_HOME=${JAVA_HOME}
将=后面的内容修改为jdk当前位置 /home/bigdate/jdk

4.格式化集群 hdfs namenode -format

5.打开关闭伪分布式 start-dfs.sh  ，  stop-dfs.sh 

6.查看节点 jps
Jps
DataNode
NameNode
SecondaryNameNode

7.打开浏览器输入http://IP地址:50070
出现界面证明搭建完成





完全分布式搭建（三台配置好的服务器）

1.配置ssh免密服务（三台服务器需全部配置一遍）
ssh-keygen -t rsa 生成公钥和私钥
ssh-copy-id 服务器1
ssh-copy-id 服务器2
ssh-copy-id 服务器3


2.进行验证：ssh 服务器名
#输入yes后，不提示输入密码就对了
 exit 可退出服务器


3.修改hadoop文件：进入 /home/bigdata/hadoop/etc/hadoop

hadoop-env.sh
hdfs-site.xml
core-site.xml
mapred-site.xml(这个需要改名字哦！！！)
yarn-site.xml
slaves

修改第一个文件 vi hadoop-env.sh
找到export JAVA_HOME=${JAVA_HOME}
将=后面的内容修改为jdk当前位置 /home/bigdate/jdk


修改第二个文件 vi core-site.xml  (需将文件中主机名改为自己配置主机名)
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/bigdate/tmp</value>
</property>

修改第三个文件 vi hdfs-site.xml （需将文件中主机名,从机名改为自己配置主机名,从机名）
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoopdata/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoopdata/dfs/data</value>
</property>
<property>
	<name>fs.checkpoint.dir</name>
	<value>file:///home/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
	<name>fs.checkpoint.edits.dir</name>
	<value>file:///home/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
   <name>dfs.http.address</name>
   <value>主机名:50070</value>
</property>
<property>
   <name>dfs.secondary.http.address</name>
   <value>从机名1:50090</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

修改第四个文件 vi mapred-site.xml(提示 cp mapred-site.xml.template mapred-site.xml )
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>主机名:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>主机名:19888</value>
</property>

修改第五个文件 vi yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>主机名</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>主机名:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>主机名:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>主机名:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>主机名:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>主机名:8088</value>
</property>

修改第六个文件：vi slaves
主机名
从机名
从机名

4.发送hadoop配置文件到另外两台服务器
scp -r /home/bigdate 机器名:/home/
scp -r 本机路径 要发送的机器名:要发送的机器路径
scp -r /etc/profile 机器名:/etc/ 

5.切换到另外两台服务器操作是否成功，环境是否配置成功

------------------基本上准备工作结束拍快照--------------------

6.格式化集群：hdfs namenode -format

7.启动集群：
	常规启动：start-dfs.sh
		 start-yarn.sh
	无脑启动：start-all.sh
	
	如果出现问题关闭集群：stop-all.sh

	jps 如果有未关闭节点,强制关闭某个节点：kill -9 进程号

单独启动/关闭 hdfs相关节点（namenode datanode）
hadoop-daemon.sh start/stop datanode/namenode
单独启动/关闭yarn相关节点（resourcemanager nodemanager）
yarn-daemon.sh start/stop nodemanager/resourcemanager

	
8.查看相关节点：jps
主机启动节点：
[root@hadoop bigdata]# jps
NameNode
DataNode
NodeManager
Jps
ResourceManager

从机1启动节点：
[root@hadoop bigdata]# jps
NodeManager
Jps
DataNode
SecondaryNameNode

从机2启动节点：
[root@hadoop bigdata]# jps
Jps
DataNode
NodeManager

9.打开网页http://IP地址:端口号
hdfs服务：http://IP地址:50070
yarn服务：http://IP地址:8088