Linux大数据集群环境搭建步骤

*Mac传送文件到虚拟机方法:

• 连接主机如下：

• 

  传输文件：

  scp 文件位置及文件名 root@IP地址：需要存储文件的位置

1.配置NAT网络

注意：将vm的网络适配器改成NAT模式

• 编辑

  /etc/sysconfig/network-scripts/ifcfg-ens33 文件
  

• 修改为： BOOTPROTO=static

  ​ ONBOOT=yes

( 以下配置为自己电脑的IP或网关之类)

• 在末尾加入：

  IPADDR=192.168.46.101		（最后101为自己随意取）
  NETWORK=255.255.255.0
  GATEWAY=192.168.46.2
  DNS1=202.101.224.69
  DNS2=202.101.224.68	
  

• 重启网络：

  service  network  restart 
  

• 验证：ping www.baidu.com

  ​ ping 192.168.46.2

最终配置结果如下：

进入Mac终端查看：进入cd /Library/Preferences/VMware\ Fusion/vmnet8，打开nat.conf，查看 ip和network，（ip= 上面的 GATEWAY）；在网络偏好设置中查看DNS即可。

2. 修改主机名（三台主机分别操作）

hostnamectl set-hostname master

hostnamectl set-hostname slave1

hostnamectl set-hostname slave2

bash   //立刻生效

3.配置host文件（三台主机都操作）注意保存退出

vi /etc/hosts

192.168.46.101 master 
192.168.46.102 slave1
192.168.46.103 slave2

4. 关闭防火墙（三台主机都操作）

查看防火墙状态：systemctl	status	firewalld

看到active (running)	意味着开启

看到inactive (dead)	意味着关闭

临时：

- 开启：systemctl	start	firewalld
- 关闭：systemctl	stop	firewalld

永久：

- 关闭：systemctl	disable	firewalld
- 开启：systemctl	enable	firewalld

重启：firewall-cmd --reload

5.时间同步

可以使用date查看自己机器的时间

选择时区：tzselect

1. 下载ntp（三台主机都操作）

∙  yum install –y ntp

2.设置时间钟（master操作）

vi /etc/ntp.conf

server 127.127.1.0 # local clock 

fudge 127.127.1.0 stratum 10 #stratum 设置为其它值也是可以的，其范围为 0~15 

3.重启ntp服务(master操作)

/bin/systemctl restart ntpd.service

其他机器同步（slave1、slave2操作）

ntpdate master 

*这里开始克隆虚拟机

并更改：1. 新的网络IP 2.主机名

6.配置ssh免密

(1).每个结点分别产生公私密钥：（三台机器都操作）

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

秘钥产生目录在用户主目录下的.ssh目录中，进入相应目录查看：cd .ssh/

(2).Id_dsa.pub为公钥，id_dsa为私钥，紧接着将公钥文件复制成authorized_keys文件：（仅在master机器上操作）

cat id_dsa.pub >> authorized_keys

（注意在.ssh/路径下操作）

在主机上连接自己，也叫做ssh内回环。

ssh master

(3). 让主结点master能通过SSH免密码登录两个子结点slave。（分别在slave1和slave2中操作）

cd .ssh/

scp master:~/.ssh/id_dsa.pub ./master_dsa.pub

将master结点的公钥文件追加至authorized_keys文件。

cat master_dsa.pub >> authorized_keys	

这时，master就可以连接slave1了。

Slave2也是这样的操作

7. 安装JDK

（1）首先创建jdk的工作路径/usr/java

cd /usr

mkdir java

tar -zxvf /opt/soft/jdk-8u171-linux-x64.tar.gz -C /usr/java

（2）修改环境变量

vi /etc/profile

添加内容如下：

export JAVA_HOME=/usr/java/jdk1.8.0_171 
export CLASSPATH=$JAVA_HOME/lib/ 
export PATH=$PATH:$JAVA_HOME/bin 
export PATH JAVA_HOME CLASSPATH

生效环境变量：

source /etc/profile

查看java版本：

java -version

（3）远程分发

在master节点操作成功后可以使用远程复制命令将JDK远程复制到slave1和slave2节点在中：（此命令在master中操作）

scp -r /usr/java root@slave1:/usr/

scp -r /usr/java root@slave2:/usr/

<