1.准备linux环境
1.0将虚拟机的网络模式选为NAT
1.1修改主机名
vi /etc/hosts
demo1
1.2修改IP
修改配置文件方式
vi /etc/sysconfig/network-scripts/ifcfg-eth33
DEVICE="eth33"
BOOTPROTO="static" ###
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.222.136" ###新添加IP
NETMASK="255.255.255.0" ###子网掩码
GATEWAY="192.168.1.1" ###网关
1.3修改主机名和IP的映射关系
vi /etc/hosts
192.168.222.136 demo1
192.168.222.137 demo2
192.168.222.138 demo3
1.4关闭防火墙
#查看防火墙状态
systemctl status firewalld 或者 service iptables status
#关闭防火墙
service iptables stop(建议使用,不会开启自启防火墙)或systemctl stop firewalld(重启虚拟机将开启防火强)
#查看防火墙开机状态
1.5 修改sudo
su root
vi /etc/sudoers 给hadoop用户添加执行权限
#重启linux
2.安转jdk
2.1利用xftp工具上传自己下载好的jdk
2.1解压jdk
tar -zxvf jdk-8u141-linux-x64.tar -C /usr/local/
2.3将java添加到环境变量中
#此处有两种方法
#第一种方法
2.3.1 vi /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/local/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
#第二种方法
2.3.2 利用alterbatives 来搭建java环境,分别执行下面三条命令
alternatives --install /usr/bin/java java /usr/local/jdk1.8.0_141/bin/java 2
alternatives --set java /usr/local/jdk1.8.0_141/bin/java
alternatives –config java
3.安装 hadoop 2.7.3将hadoop2.7.3 安装到 /usr/local/ 目录下
3.1配置hadoop 进入hadoop-2.7.3下的etc目录下的hadoop 需要修改六个配置文件
第一个:vi hadoop-env.sh
#第25行到30行左右
export JAVA_HOME =/usr/local/jdk1.8.0_141
第二个:vi core-site.xml
<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://demo1:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.3/dfs</value>
</property>
第三个:vi hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!--指定 secondarynamenode -->
<property>
<name>dfs.secondary.http.address</name>
<value>demo2:50090</value>
</property>
第四个:mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
第五个 vi yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>demo1</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
第六个 vi salves
添加:demo1
demo2
demo3
3.2 将hadoop添加到环境变量
vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_141
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
4:修改 hadoop-2.7.3目录的权限
chown -R hadoop:hadoop hadoop-2.7.3
5:配置ssh免密登录
demo1-->demo 2 , demo3
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@demo2
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@demo3
6:将/usr/local/hadoop2.7.3 和jdk分别拷贝到demo2,demo3上
7:配置demo2,demo3上的环境变量 与demo1环境变量一致即可
8:格式化namenode(对namenode进行初始化)
hdfs namenode -format (hadoop namenode -format)
8.1 启动hadoop
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
8.2 验证是否成功
使用jps命令验证 查看进程
8.3http://ip:50070(HDFS管理界面)
http://ip:8088(MR管理界面)