大数据学习-环境准备

VMware 部分

网络设置

下载好 CentOS 7 的镜像文件

修改 VMware 的网络

把子网 ip 修改为 192.168.88.0，然后点击 NAT 设置，修改网关 IP 为 192.168.88.2

之后就确定即可

虚拟机安装

选择镜像文件，使用 VMware 的典型安装方法即可，这里用户是 lyj，密码是 1234

基本就是一路下一步即可

大数据集群这里使用三台虚拟机即可

当第一台虚拟机安装后，关机

右键虚拟机标签（如果没有就打开虚拟机），点击管理—克隆，克隆方法选择：完整克隆

起好名字即可，这里分别起名叫：hadoop-node-1/2/3，还好克隆虚拟机不需要把空间占用也克隆

克隆完毕后，把 node1 的内存修改为 4G，另外两个改成 2G

虚拟机网络设置

先切换为 root

su root

修改固定IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33

IPADDR=192.168.88.131

GATEWAY=192.168.88.2

NETMASK=255.255.255.0

DNS1=192.168.88.2

另外两台就是 192.168.88.132 192.168.88.133

修改主机名

hostnamectl set-hostname node1

重启网络

systemctl restart network

主机名与 IP 映射

在 Windows 中的 hosts 文件

C:\Windows\System32\drivers\etc\hosts

加入这三句：

192.168.88.131 node1

192.168.88.132 node2

192.168.88.133 node3

如果没有权限保存，就用管理员方式+记事本打开即可

在 Linux 的 hosts 文件

vim /etc/hosts

也加上这三句，三台机子都要加

192.168.88.131 node1

192.168.88.132 node2

192.168.88.133 node3

SSH

免密登录

在每一台机器上都执行这个命令，生成密钥，一直回车即可

ssh-keygen -t rsa -b 4096

生成的密钥文件在这个目录下

/root/.ssh

在每一台机器都执行

ssh-copy-id node1

ssh-copy-id node2

ssh-copy-id node3

主要作用好像就是执行 ssh 命令可以快速切换 ssh 连接的主机

比如连接的是 node2，执行 ssh node1，就可以切换到 node1

创建用户 hadoop

主要还是培养习惯吧，毕竟在企业中不可能给开发 root 权限的

在每台机器执行命令，创建 hadoop 用户

useradd hadoop

在每台机器中执行，设置 hadoop 用户的密码：1234

别管它的提示说无效，用 root 用户就可以继续设置

passwd hadoop

切换 hadoop 用户，并生成密钥

su hadoop

ssh-keygen -t rsa -b 4096

在每台机器上执行

ssh-copy-id node1

ssh-copy-id node2

ssh-copy-id node3

JDK 部分

给每个机器都部署好 JDK 环境，这里下载 JDK 1.8

Java Archive Downloads - Java SE 8u211 and later

创建文件夹，用来部署JDK，将JDK和Tomcat都安装部署到：/export/server 内

mkdir -p /export/server

解压上传的 JDK 压缩包

tar -zxvf jdk-8u391-linux-x64.tar.gz -C /export/server

配置 JDK 软连接

ln -s /export/server/jdk1.8.0_391 /export/server/jdk

配置 JDK 的环境变量

vim /etc/profile

export JAVA_HOME=/export/server/jdk

export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

配置 Java 执行程序的软连接

# 删除系统自带的 Java 程序

rm -f /usr/bin/java

# 软连接自己安装的 Java

ln -s /export/server/jdk/bin/java /usr/bin/java

验证

java -version

javac -version

防火墙

每台机器都关闭它，并取消开机自启动

systemctl stop firewalld

systemctl disable firewalld

SELinux

这是一个安全模块，用来限制用户和程序的权限，保证系统安全

目前关闭即可

vim /etc/sysconfig/selinux

把 SELINUX=enforcing，修改为 SELINUX=disabled

disabled，不能拼错，不然无法开机

修改完毕后，重启虚拟机

reboot

修改时区并配置自动时间同步

1. 安装ntp软件

yum install -y ntp

2. 更新时区

rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3. 同步时间

ntpdate -u ntp.aliyun.com

4. 开启ntp服务并设置开机自启

systemctl start ntpd

systemctl enable ntpd

给虚拟机搞个快照

万一出问题用于恢复

在 VMware 中点上面的虚拟机，找到快照，点击拍摄快照