作者:inswhit
在centos7系统下安装和配置hadoop
提示:下面案例可供参考
文章目录
- 一、工具介绍
- 二、实验内容
- 1.在VMware下自定义安装centos7
- 2.在安装过程中创建hadoop用户和设置密码(因为是测试,所以密码设置是123456)
- 3.配置静态ip,使虚拟机跟物理机能ping通
- 4.关闭selinux
- 5.关闭防火墙
- 6.进入sudoers设置用户权限
- 7.修改主机名字为master
- 8.配置hosts文件
- 9.使用xftp将java与hadoop的安装包拉入/usr 目录并进行解压和重命名
- 10.配置java环境变量
- 11.关闭master虚拟机并克隆出两台虚拟机
- 12.修改slave01,02的ip和主机名字
- 13.在master主机下启动ssh免密配置及验证
- 14.在master上安装hadoop
- 15.配置hadoop文件
- 16.配置workers文件【添加数据节点的主机名】
- 17.同步节点(master节点上的安装文件同步到slave01、slave02节点)
- 18.新建数据文件目录(三个节点都要)
- 19.修改hadoop的文件属主权限(三个节点都要)
- 20.在master上格式化namenode
- 21.启动hadoop
- 22.查看进程
- 23.在浏览器中打开http://192.168.81.100:50070,查看NameNode 节点的状态
- 24.在浏览器打开http://192.168.81.100:8088,查看所有的应用
- 三.问题总结
一、工具介绍
1.VMware Workstation15 pro
2.xftp和xshell
3.浏览器
4.java与hadoop的安装包
下载地址:https://pan.baidu.com/s/1gvClzJ2MHYiHs6Tmid8MIQ
提取码:wca2
二、实验内容
1.在VMware下自定义安装centos7
2.在安装过程中创建hadoop用户和设置密码(因为是测试,所以密码设置是123456)
3.配置静态ip,使虚拟机跟物理机能ping通
vi /etc/sysconfig/network-scripts/ifcfg-ens33
随后重启网卡和查询ip有没有配置成功
systemctl restart network #重启网卡
service network restart #重启网卡
4.关闭selinux
vi /etc/selinux/config
将selinux改为disabled
5.关闭防火墙
systemctl stop firewalld #暂停防火墙
systemctl disable firewalld #关闭防火墙
6.进入sudoers设置用户权限
sudo vi /etc/sudoers
7.修改主机名字为master
hostnamectl set-hostname master[主机名]
8.配置hosts文件
vi /etc/hosts
【master 】ip master [主机名]
【slave01】ip slave01[主机名]
【slave02】ip slave02[主机名]
9.使用xftp将java与hadoop的安装包拉入/usr 目录并进行解压和重命名
tar -zxvf /usr/jdk-8.tar.gz -C /usr/
mv /usr/jdk1.8.0_201/ /usr/java
10.配置java环境变量
vim /etc/profile
在最底下输入
#JAVA_Env
export JAVA_HOME=/usr/java
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
并使配置文件生效
source /etc/profile
11.关闭master虚拟机并克隆出两台虚拟机
12.修改slave01,02的ip和主机名字
12.1 修改01的网卡
12.1.1 刷新网卡
12.1.2 修改slave01
12.2 修改02的网卡
12.2.1 刷新网卡
12.2.2 修改为slave02
13.在master主机下启动ssh免密配置及验证
13.1 安装ssh
yum install openssh* -y
13.2 切换到hadoop用户
13.3 生成密钥
ssh-keygen -t rsa
一直回车
13.4 依次发送给本机,slave01,slave02节点
ssh-copy-id -i master
ssh-copy-id -i slave1
ssh-copy-id -i slave2
这里输入yes(三台机都会提示)
hadoop用户的密码(三台机都会提示)
发送给01
发送给02
13.5使用ssh远程登陆master,slave01,slave02查看是否成功(切记!!!登陆查看后需要退出!)
ssh master
ssh slave1
ssh slave2
14.在master上安装hadoop
1.解压安装包
sudo tar -zxvf /usr/hadoop-3.1.2.tar.gz -C /usr/
2.重命名安装包的名字
sudo mv /usr/hadoop-3.1.2/ /usr/hadoop
3.修改环境配置文件
sudo vi /etc/profile
#Hadoop_Env
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
4.使环境变量生效
15.配置hadoop文件
1.配置hadoop-env.sh文件
sudo vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
进入文件后可以直接打进去,因为整个文件里的数据都是不生效的
JAVA_HOME=/usr/java
2.配置core-site.xml文件
sudo vi $HADOOP_HOME/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoopData/tmp</value>
</property>
</configuration>
3.配置hdfs-site.xml配置文件
sudo vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoopData/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoopData/dfs/data</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>0.0.0.0:50070</value>
</property>
</configuration>
4.配置yarn-site.xml文件
sudo vi $HADOOP_HOME/etc/hadoop/yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
5、配置mapred.site.xml文件
sudo vi $HADOOP_HOME/etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.frameword.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
16.配置workers文件【添加数据节点的主机名】
sudo vi $HADOOP_HOME/etc/hadoop/workers
17.同步节点(master节点上的安装文件同步到slave01、slave02节点)
1.同步slave01
sudo scp -r /usr/hadoop/ slave01:/usr/
输入:yes
hadoop用户密码
2.同步slave02
sudo scp -r /usr/hadoop/ slave02:/usr/
输入:yes
hadoop用户密码
18.新建数据文件目录(三个节点都要)
sudo mkdir -p /home/hadoopData/tmp
sudo mkdir -p /home/hadoopData/dfs/name
sudo mkdir -p /home/hadoopData/dfs/data
19.修改hadoop的文件属主权限(三个节点都要)
sudo chown -R Hadoop:Hadoop /usr/hadoop
sudo chown -R Hadoop:Hadoop /home/hadoopData/
20.在master上格式化namenode
hdfs namenode -format
21.启动hadoop
start-all.sh
22.查看进程
jps
23.在浏览器中打开http://192.168.81.100:50070,查看NameNode 节点的状态
点击浏览DataNode 数据节点
24.在浏览器打开http://192.168.81.100:8088,查看所有的应用
浏览Nodes
三.问题总结
1.查询ssh密钥是否成功时,一定要记得查询完后exit退出。
2.如果jps进程和网页的进程少了,那可能配置文件的路径或者环境变量有问题,请仔细检查。