Hadoop3.x

Hadoop3.x

基础环境配置

一：设置静态ip（三台都要设置）

vi /etc/sysconfig/network-scripts/ifcfg-ens33

添加修改以下内容

BOOTPROTO=static		//获得IP方式
IPADDR=192.168.206.150	//静态IP
PREFIX=24				//端口
GATEWAY=192.168.206.2	//网关
NETMASK=255.255.255.0	//子网掩码
DNS1=8.8.8.8
DNS2=114.114.114.114

二：重启网络服务

 systemctl restart network

三：查看ip

ip a

四：修改主机名

vi /etc/hostname

或者

hostnamectl set-hostname 主机名

五：主机映射

vi /etc/hosts

添加

IP 主机名1
IP 主机名2
.......

六：关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service

七：重启

reboot

其他软件安装

​ Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

yum install -y epel-release

​ 注意：如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作

​ net-tool：工具包集合，包含ifconfig等命令

yum install -y net-tools

vim：编辑器

yum install -y vim

SSH免密配置

一：创建免密（master）

ssh-keygen -t rsa

.ssh文件功能

known_hosts	记录ssh访问过计算机的公钥（public key）
id_rsa	生成的私钥
id_rsa.pub	生成的公钥
authorized_keys	存放授权过的无密登录服务器公钥

二：互信配置

ssh-copy-id -i root@salve1（salve2，master）

三：登陆测试

ssh salve1(slave2)

集群部署

一：安装jdk hadoop

1. 卸载虚拟机自带的JDK

   rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps 
   

   rpm -qa：查询所安装的所有rpm软件包

   grep -i：忽略大小写

   xargs -n1：表示每次只传递一个参数

   rpm -e –nodeps：强制卸载软件

2. 将jdk hadoop导入并解压

   tar -zxvf jdk-8u212-linux-x64.tar.gz
   mv jdk1.8.0_212 jdk  	
   tar -zxvf hadoop-3.1.3.tar.gz
   mv hadoop-3.1.3 hadoop
   #更改名称是为了后面环境配置的时候好记住
   

3. 配