六阶段大数据--day01--hadoop集群环境准备

1 集群环境准备

1. 解压CentOS7-bigdata.zip虚拟机,复制成三个虚拟机名为: hadoop01 ,hadoop02,hadoop03文件夹;
2. 通过vmware打开这三个虚拟机--bigdata.vmx   ,重命名为 hadoop01 ,hadoop02,hadoop03
3. 对虚拟机进行设备设置:如下图所示

 4. 设置虚拟机网络

 5. 分别启动三台虚拟机

 6.登录虚拟机:用户名密码都是root , ip addr命令查看设置的ip,也就是你的网关ip是不是上面设置的

 7. 配置文件

cd /etc/sysconfig/network-scripts   #进入网络配置目录(虚拟网卡目录)

ll                                  #查看有没有ifcfg-ens33
 
dir ifcfg*                         #找到网卡配置文件
 
ifcfg-ens33                         #找到版本最新的文件并修改
 
vim ifcfg-ens33
 
或者
 
vim /etc/sysconfig/network-scripts/ifcfg-ens33

vim ifcfg-ens33 命令,修改网关ip,esc按钮,:wq保存退出

 8.重启网络(二选一即可)

service network restart   #重启网络
 
systemctl restart network.service   #重启网络centos7

 

 9.hadoop02和03的网络设置也同样操作

 

•  重启网络后,分别ping www.baidu.com  连接成功代表设置没问题

10.mobaxTerm连接三台虚拟机

  

 11.关闭三个虚拟机的防火墙

systemctl stop firewalld.service        #关闭防火墙服务
 
systemctl disable firewalld.service     #禁止防火墙开启启动
 
 
systemctl restart firewalld.service      #重启防火墙使配置生效

systemctl enable firewalld.service       #设置防火墙开机启动

[root@hadoop01 ~]# firewall-cmd --state		#检查防火墙状态
false		

• 点击右上角的exit 退出即可

12. 修改主机名

vi /etc/hostname    #分别修改三台主机名为hadoop01  hadoop02  hadoop03

13. 修改hosts文件

 

 14.reboot 命令重启三个节点服务,重新登录并连接,测试ping命令是否成功

二 设置免密登录

原因:

 1.生成三台机器的公钥与私钥--使用MultiExec按钮多节点同时操作

ssh-keygen   #三个服务器都要执行此命令

•  每个节点服务器都会生产一下两个数据,pub后缀文件内容就是生成的公钥

 2.拷贝公钥到同一台机器,三台机器都执行下面命令:

ssh-copy-id hadoop01

•  回到hadoop01节点服务器查看生成的认证文件

 3.复制第一台机器的认证到其他机器

scp /root/.ssh/authorized_keys hadoop02:/root/.ssh  #第一台服务器的认证复制到第二台上
scp /root/.ssh/authorized_keys hadoop03:/root/.ssh   #第一台服务器的认证复制到第三台上

4.配置完认证后,测试免密登录

三  3台机器时钟同步

1. 不同节点服务器进行时钟同步时,一方面会报错,同步失败,另一方面同步时间会有细微的时差

• 阿里云时钟同步服务器

ntpdate ntp4.aliyun.com

•  三台机器定时任务,操作系统自动完成时间同步

crontab  -e     

*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;  #上一命令进入后输入此内容,保存并推出:wq

 

• 拓展:Linux系统 crontab 时间设置的解释: 

四  3台机器安装jdk

1.查看自带的openjdk

rpm -qa | grep java

• 如果有，请卸载系统自带的openjdk，方式如下（注：目前系统已经卸载）

rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64 --nodeps

2. 三台机器创建目录

• 所有软件的安装路径

mkdir -p /opt/servers

• 所有软件压缩包的存放路径,进行统一管理

mkdir -p /opt/softwares

 3.上传jdk到/opt/softwares路径下去，并解压

 tar -xvzf jdk-8u65-linux-x64.tar.gz -C /opt/servers/

• 解压后查看

 4. 配置环境变量

vim /etc/profile   #进入该文件目录,配置环境变量

#环境变量内容如下2行,直接粘贴到上面文件的最下方
export JAVA_HOME=/opt/servers/jdk1.8.0_65
export PATH=:$JAVA_HOME/bin:$PATH

# 是配置的环境变量生效
source /etc/profile

 

•  测试jdk是否生效,查看jdk的版本

 5. 上面只是单独在hadoop01操作,现在要发送(拷贝)jdk文件到hadoop02和hadoop03

scp -r /opt/servers/jdk1.8.0_65/ hadoop02:/opt/servers/
scp -r /opt/servers/jdk1.8.0_65/ hadoop03:/opt/servers/

• 03同样操作,并使用source /etc/profile  命令使其生效

 6.复制后,同样都要配置环境变量,source使其生效,查看jdk版本看是否生效

 

五  修改windows中的hosts文件

•  在windows中的hosts文件里添加如下映射,ip虚拟机和主机的ip的映射,实现windows可以通过主机名（或域名）访问虚拟主机。