目录
2.修改主机名：在Centos7中直接使用root用户执行hostnamectl命令修改
在Centos7中使用root用户修改当前启用的网卡配置文件，所在路径为/etc/sysconfig/network-scripts ,CentOS 7系统默认为ifcfg-ens32 ，使用vi编辑器编辑ifcfg-ens32文件
1.使用root用户修改 /etc/hosts 文件，（每台机器）：
2.配置完成后可以使用ping命令测试（Ctrl + C结束）
2. 使用copy命令将密钥拷贝到其他主机与本机中实现免密登录
一、修改主机名
注意*三台机子的名字分别为：master、slave1、slave2
1.修改主机名分为临时修改和持久修改
临时修改： hostname master ( hostname ＋主机名称）
hostname master 主机名持久修改： vi / etc / hostname （使用 vi 修改 hostname 中的内到持久修改）
vi /etc/hostname2.修改主机名：在Centos7中直接使用root用户执行hostnamectl命令修改
hostnamectl set-hostname 主机名
hostnamectl set-hostname 主机名重启：reboot（重启后永久生效）
二、配置静态ip
在Centos7中使用root用户修改当前启用的网卡配置文件，所在路径为/etc/sysconfig/network-scripts ,CentOS 7系统默认为ifcfg-ens32 ，使用vi编辑器编辑ifcfg-ens32文件，所用命令如下：
vi /etc/syaconfig/network-scripts/ifcfg-ens32
注意*：配置完成后保存退出，使用systemctl restart network命令重启网卡服务。
systemctl restart network 三、Hadoop其他操作
1.防火墙操作
关闭防火墙：systemctl stop firewalld.service
systemctl stop firewalld.service查看防火墙的状态：systemctl status firewalld.service
systemctl status firewalld.service移除防火墙：systemctl disable firewalld.service
systemctl disable firewalld.service防火墙开启：active
防火墙关闭：dead
2.克隆虚拟机（uuidgden）
四、配置host文件
前面已经安装了三台机子分别是master/slave1/slave2,首先使用我们的远程连接服务器工具MobaXterm或者是Xshell分别于三台机器连接，分别找到三台机子的ip地址
| 主机名称 | IP地址 |
|---|---|
| master | 192.168.96.133 |
| slave1 | 192.168.96.131 |
| slave2 | 192.168.96.122 |
注意*：slave1和slave2是由master克隆而来
1.使用root用户修改 /etc/hosts 文件，（每台机器）：
192.168.96.133 master
192.168.96.131 slave1
192.168.96.132 slave2
注意*:ip地址在前 ，主机名在后
2.配置完成后可以使用ping命令测试（Ctrl + C结束）
注意*：三台机子都要测试并在slave1和slave2 上也修改hosts文件，修改内容跟master修改相同
五、免密登入
1. 密钥获取
ssh-keygen2. 使用copy命令将密钥拷贝到其他主机与本机中实现免密登录
ssh-copy-id (主机名)
ssh-copy-id master
ssh-copy-id save1
ssh-copy-id save2
六、jdk的安装
1.安装之前先完成以下命令
mkdir -p /opt/module/
mkdir -p /opt/software/
mkdir -p /opt/datamodule用来存放解压后的软件 software 用来存放安装包的压缩包 data用来存放数据
2.将本地的jdk安装包上传
3.解压jdk安装包
tar -zxvf jdk-8u161-linux-x64.tar.gz -C /opt/module/
4.环境变量的配置
使用vi编辑器编辑my_env.sh文件
vi /etc/profile.d/my_env.sh新建系统变量JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_161
再将JAVA_HOME引用到path环境变量中 export PATH=$JAVA_HOME/bin:$PATH
将以下文件添加
export JAVA_HOME=/export/software/jdk1.8.0_161
export PATH=$JAVA_HOME/bin:$PATH
生效文件
source /etc/profile
验证环境是否安装成功
java -version
5.向其他主机传送文件或文件夹
命令格式: scp -r 文件或文件夹的名字 （绝对路径）
scp -r /opt/module/jdk1.8.0_161 save2:/opt/module/
scp -r /etc/profile.d/my_env.sh save2:/etc/profile.d/
scp -r /opt/module/jdk1.8.0_161 save1:/opt/module/
scp -r /etc/profile.d/my_env.sh save1:/etc/profile.d/七、停止NetwaorkManger服务
systemctl stop NetworkManger
systemctl disable NetworkManger八、Hadoop环境变量的配置
1.解压Hadoop文件
tar -zxvf hadoop-3.1.4.tar.gz -C /opt/module/2.配置Hadoop环境变量
a.使用vi编辑器编辑my_env.sh文件
vi /etc/profile.d/my_env.shb.添加以下内容
#hadoop环境变量
export HADOOP_HOME=/opt/module/hadoop-3.1.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/$bin:$PATH
#hadoop环境变量
export HADOOP_HOME=/opt/module/hadoop-3.1.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH vi /etc/profile
3.生效文件
source /etc/profile4.验证环境是否安装成功
hadoop -version5.向其他主机传送文件或文件夹
命令格式: scp -r 文件或文件夹的名字 （绝对路径）
scp -r /opt/module/hadoop-3.1.4 save2:/opt/module/
scp -r /etc/profile.d/my_env.sh save2:/etc/profile.d/
scp -r /opt/module/hadoop-3.1.4 save1:/opt/module/
scp -r /etc/profile.d/my_env.sh save1:/etc/profile.d/九、集群配置文件
| master | save1 | save2 |
| namenode | datanode | datanode |
| datanode | resourcemanager | nodemanager |
| nodemanager | nodemanager | secondarynamenode |
| 配置文件 | 功能描述 |
| core-site.xml | Hadoop核心全局配置文件，可在其他配置文件中引用此该文件 |
| hdfs-site.xml | HDFS配置文件，继承core-site.xml配置文件 |
| mapred-site.xml | MapReduce配置文件，继承core-site.xml配置文件 |
| yarn-site.xml | Yarn配置文件，继承core-site.xml配置文件 |
| hadoop.env.sh | 配置Hadoop运行所需的环境变量 |
| yarn.env.sh | 配置Yarn运行所需的环境变量 |
1.修改core-site.xml文件
<!-- 指定 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.4/data</value>
</property>
<!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
2.hdfs-site.xml
<!-- nn web 端访问地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>master:9870</value>
</property>
<!-- 2nn web 端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>save2:9868</value>
</property>
3.修改mapred-site.xml文件
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
4.修改yarn-site.xml文件
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 ResourceManager 的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>save1</value>
</property>
<!--是否将对容器实施虚拟内存限制-->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
5.修改works文件
master
save1
save26.修改环境变量
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root7.将集群主节点的配置文件分发到其他子节点
scp -r /opt/module/hadoop-3.1.4 save1:/opt/module/
scp -r /opt/module/hadoop-3.1.4 save2:/opt/module/
十、Hadoop集群测试
1.格式化文件系统
hadoop namenode -format2.hadoop集群的启动与关闭
第一台节点启动dfs
start-dfs.sh
stop-dfs.sh
第二台节点启动yarn
start-yarn.sh
stop-yarn.sh3.UI界面查看Hadoop集群
修改window下C盘的hosts文件
192.168.88.4 master
192.168.88.2 save1
192.168.88.3 save2输入网址192.168.88.4:9870,可查看HDFS管理界面，其中192.168.88.4为master的ip地址
也可输入master:9870
输入网址192.168.88.4:8088，可查看资源管理Yarn界面,其中192.168.88.4为master的ip地址
扫一扫
7911
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
