搭建hadoop集群

第一次
1.创建 hadoop用户 （此时在home里面以存在hadoop文件夹）

配置JAVA环境
切换成hadoop用户执行以下操作：

	解压安装包
	1.在hadoop文件夹里面创建 opt文件夹  mkdir opt
	2.将压缩包移动到hadoop文件夹里与opt属于同一级目录
	3.解压压缩包
	4.tar -xzfx jdk-8u152-linux-x64.tar.gz opt

	添加环境变量
	export JAVA_HOME=/home/hadoop/opt/jdk1.8.0_152
	export PATH=$JAVA_HOME/bin:$PATH



第二次
配置静态IP（当前切换为root用户）

	1.修改网络设置
		1.cd / 进入根目录 
			cd /etc/sysconfig/network-scripts
			vi ifcfg-ens33 编辑这个文件
			修改:	BOOTPROTO=static
			最尾处添加：IPADDR=192.168.***
		重启网关：systemctl restart network

		2.修改主机名称
			1.切成root用户
			2.修改vi etc/hostname  (删除以前的文字，修改为:python3)

		3.修改主机映射
			1.修改 vi etc/hosts 添加：192.168.161.***  (主机的主机ip+python3)

			2.reboot 重启虚拟机
	2.修改window 对虚拟机的认知
		1.进入C:\Windows\System32\drivers\etc

		2.编辑hosts文件
			1.右键属性-->安全-->选择 Users(ps-PC\Users)-->在Users权限里 勾选完全控制
		3.以NOdepad++打开hosts文件，添加 192.168.161.*** 保存退出


配置hadoop环境变量

	1.在hadoop文件夹里面传hadoop安装包并解压
		export HDOOP_HOME=/home/hadoop/opt/hadoop-2.9.0
		export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
		export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

	2.配置 hadoop配置文件 所在目录为$hadoop_home/etc/hadoop

		
			vi core-site.xml
		        vi hdfs-site.xml
			vi mapred-site.xml
			vi yarn-site.xml
			vi slaves
	3.关闭防火墙

	4.在opt中创建 tmp文件夹
	
	5.在opt下 格式化 hdfs namenode -format
	
	6.手动去 opt/tmp/ect/dfs 删除dfs文件夹

	7.开始配置密匙
		
		ssh-keygen -t rsa 一路回车生成密匙

		ssh-copy-id python3

		yes
		
		start-dfs.sh
		
		jps

		hadoop namenode -format

		

修改网关 配置静态ip

/etc/sysconfig/network-scripts 

vi ifcfg-ens33 修改里面配置（修改网络路径）

systemctl restart network 重启网关

2.修改主机名:localhost

[root@localhost ]

/etc/hostname   vi hostname 删除里面内容，修改成python3

/etc/hosts   vi hosts 回车一下 添加：192.168.161.*** python3

reboot --重启

shutdown -p now 立刻关机

#修改  window 对某台虚拟机的认知

c:\windows\system32\drivers\etc\hosts  修改host文件 

以下步骤均以hadoop用户身份操作
1.hadoop用户解压文件于/home/hadoop/opt/下,命令：tar -zvxf hadoop-xxx.gx -C opt


2.配置hadoop环境变量,hadoop用户在工作目录下vi .basgrc后追加如下内容：

3.之后source .bashrc刷新，输入hadoop验证

开始搭建环境

    

    1.进入所在目录为$hadoop_home/etc/hadoop

        vi core-site.xml 往里面加入：<property>
                                                    <name>fs.defaultFS</name>
                                                    <value>hdfs://python3:9000</value> 

                                                      </property>

    2. vi hdfs-site.xml 添加 ：

<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>
	
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:///home/hadoop/opt/tmp/dfs/name</value>
</property>

<property>
	<name>dfs.datanode.data.dir</name>
	<value>file:///home/hadoop/opt/tmp/dfs/data</value>
</property>
<property>
	<name>dfs.namenode.http-address</name>
	<value>python3:50070</value>
</property>

    3.复制一份 mapred-site.xml template (cp mapred-site.xml template mapred-site.xml)

        编辑vi mapred-site.xml 添加：

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

       4.编辑 vi yain-site.xml 添加：     

<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>python3</value>
</property>

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

    

    5.vi slaves 删除localhost 改成python3

    

    6.关闭防火墙 （切换成root用户）

            只能先临时关闭 在永久关闭

   

关闭防火墙后重启 reboot重启电脑

7.切回hadoop用户 在opt里面创建tmp文件夹，再执行以下命令

去opt/tmp/etc/ 删除 rm -rf dfs 删除 dfs文件夹

8.创建2个密匙 （公匙  私匙） 

    执行  ssh-keygen -t rsa 一路回车生成密匙

执行 ssh-copy-id python3 然后 yes

start-dfs.sh

jps

hadoop namenode -format

start-all.sh

jps