Hadoop（一）Hadoop的安装和基础配置

基础配置

1、关闭防火墙
		systemctl stop firewalld.service #停止firewall
		systemctl disable firewalld.service #禁止firewall开机启动
	查看防火墙状态
		firewall-cmd --state
		systemctl status firewalld.service
	启动防火墙
		systemctl start firewalld.service

2、修改主机名
	第一种
		hostnamectl set-hostname 名称
	第二种
		vim /etc/hostname
	查看主机名
		hostnamectl status

3.关闭networkmanage服务
	systemctl status NetworkManager #查看NetworkManager状态
	systemctl stop NetworkManager	#停止NetworkManager
	systemctl disable NetworkManager#禁止NetworkManager开机启动

4、修改ip地址

	vim /etc/sysconfig/network-scripts/ifcfg-ens33

	TYPE=Ethernet
	PROXY_METHOD=none
	BROWSER_ONLY=no
	BOOTPROTO=none
	DEFROUTE=yes
	IPV4_FAILURE_FATAL=no
	NAME=ens33
	DEVICE=ens33
	ONBOOT=yes
	IPADDR=192.168.129.211
	NETMASK=255.255.255.0
	GATEWAY=192.168.129.2
	DNS1=192.168.129.2

5.卸载自带jdk
	查看自带jdk
		rpm -qa |grep jdk
    卸载:
    	rpm -e 自带jdk名称 --nodeps

6.安装jdk
	上传jdk1.8.0_171到/usr/local/module
	解压jdk到soft
		cd /usr/local/module 
		tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/soft

	配置环境变量
		vim /etc/profile
		增加
			export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
			export PATH=$PATH:$JAVA_HOME/bin

7.映射关系
	ip地址 主机名
	linux配置路径vim /etc/hosts
	windows配置路径C:\Windows\System32\drivers\etc\hosts

8.修改启动级别之后重启
	systemctl set-default multi-user.target #无界面
	
克隆两台然后	
9.免密配置
	ssh-keygen -t rsa 然后三次回车
	ssh-copy-id -i 主机名	

安装hadoop

上传hadoop-2.7.6.tar.gz 到module
	解压:tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft/
		注意:必须在解压在/usr/local/soft/
配置环境变量:
	export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
	PATH中新加$HADOOP_HOME/bin:$HADOOP_HOME/sbin

1.修改slaves  位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/slaves 
	删除原有内容
	新加从节点主机名
	node1
	node2

2.修改hadoop-env.sh 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/hadoop-env.sh
	删除export JAVA_HOME=${JAVA_HOME}
	新加export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

3.修改core-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/core-site.xml
在core-site.xml标签configuration中复制一下内容

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>

4.修改hdfs-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/hdfs-site.xml 
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

5.修改yarn-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

​
​ 6.修改mapred-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml
​ cp /usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml.template /usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml
​

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
<property>  
	<name>mapreduce.jobhistory.address</name>  
	<value>master:10020</value>  
</property>  
<property>  
	<name>mapreduce.jobhistory.webapp.address</name>  
	<value>master:19888</value>  
</property>

7.hadoop分发到node1和node2
	scp -r /usr/local/soft/hadoop-2.7.6 node1:/usr/local/soft
	scp -r /usr/local/soft/hadoop-2.7.6 node2:/usr/local/soft

8.启动hadoop
	在master格式化
	hdfs namenode -format
	start-all.sh
	google浏览器输入master:50070

如果安装失败

stop-all.sh
	再次重启的时候
	1.需要手动将每个节点的tmp目录删除: 所有节点都要删除
		rm -rf /usr/local/soft/hadoop-2.7.6/tmp
		然后执行将namenode格式化
	2.在主节点执行命令:
		hdfs namenode -format
	3.启动hadoop
		start-all.sh
		$ netstat -ano |grep 50070