【亲测】Hadoop 高可用集群搭建 与 开发环境部署

环境

---

此文采用 多台物理机 方案

• 内存 2G

• 硬盘 20G

共 4 台物理设备

镜像下载：

---

此文采用版本：Centos7.4 x64

中科大源

官方源

建议：百度网盘 centos7.4 密码: 8jwf

安装：

---

镜像刻录不进行介绍

请参考：

1. linux

2. windows

3. mac

选择语言：

采用最小安装方案

> >

设置 root 密码

点击 ROOT PASSWORD 设置 root 密码，不用添加用户

> >

等待完成

完成之后点击Reboot > >

虚拟机帮助

====================================================================

该节点为虚拟机的朋友提供帮助

网络配置

---

虚拟机配置修改

1）共享网络

2）选择桥接模式

centos 网络配置文件修改

1）查找配置文件

find / -name ifcfg-*

2）修改你 etc 目录下，并以你网卡名结尾的文件

这里举例我的

vi /etc/sysconfig/network-scripts/ifcfg-ens33

动态 IP 修改操作：

• 启用 dhcp

• 注释 ipaddr 和 gateway

• onboot 设置为 yes

建议做如下修改

修改为静态 IP

修改

BOOTPROTO=“static” #dhcp改为static

ONBOOT=“yes” #开机启用本配置

添加

IPADDR=192.168.x.x #静态IP

GATEWAY=192.168.x.x #默认网关

NETMASK=255.255.255.0 #子网掩码

DNS1=你本机的dns配置 #DNS 配置

3）重启服务

service network restart

4）ping 一下我的博客试试

ping uiuing.com

客户端连接

---

安装 net-tools

yum -y install net-tools

查看 ip

ifconfig

打开客户端终端进行 ssh 连接

ssh root@yourip

安装开发环境

=====================================================================

Mysql

---

此文采用版本：mysql5.7

安装依赖

登陆 centos

安装主要依赖

yum -y install gcc gcc-c++ ncurses ncurses-devel cmake

安装 boost 库（可选）

Mysql5.7 版本更新后有很多变化，安装必须要 BOOST 库（版本需为 1.59.0）

boost 库下载地址：boost

1）下载

wget https://jaist.dl.sourceforge.net/project/boost/boost/1.59.0/boost_1_59_0.tar.gz

2）检查 MD5 值，若不匹配则需要重新下载

md5sum boost_1_59_0.tar.gz

3）解压

tar -vxzf boost_1_59_0.tar.gz

4）存储

mv boost_1_59_0 /usr/local/boost_1_59_0

下载

安装 wget

yum -y install wget

官方下载地址：mysql

1）下载

wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.21.tar.gz

2）检查 MD5 值，若不匹配则需要重新下载

md5sum mysql-5.7.21.tar.gz

编译安装

1）解压

tar -vxzf mysql-5.7.21.tar.gz

2）编译

cmake .\

make

3）安装

make install

配置 mysql

启动

systemctl start mysqld

或者

systemctl start | stop

查看 mysql 状态

systemctl status mysqld

或者

systemctl status

开机自启（可选）

systemctl enable mysqld

重载配置（可选）

systemctl daemon-reload

配置 root 密码

1）生成默认密码

grep ‘temporary password’ /var/log/mysqld.log

localhost 后面的就是你的 root 密码

2）修改密码

登陆 mysql

mysql -uroot -p你的密码

修改密码

ALTER USER ‘root’@‘localhost’ IDENTIFIED BY ‘你的密码’;

注意：mysql 5.7 默认安装了密码安全检查插件（validate_password），默认密码检查策略要求密码必须包含：大小写字母、数字和特殊符号，并且长度不能少于8位

以后可以用 update 更新密码

use mysql;

update user set password=PASSWORD(‘你的密码’) where user=‘root’;

flush privileges;

添加远程用户（可选）

GRANT ALL PRIVILEGES ON . TO ‘用户名’@‘%’ IDENTIFIED BY ‘密码’ WITH GRANT OPTION;

use mysql;

UPDATE user SET Host=‘%’ WHERE User=‘用户名’;

flush privileges;

配置文件：/etc/my.cnf

日志文件：/var/log/mysqld.log

服务启动脚本：/usr/lib/systemd/system/mysqld.service

socket 文件：/var/run/mysqld/mysqld.pid

JDK

---

此文采用版本：JDK8

下载

安装文本编辑器 vim

yum -y install vim

JDK 官方下载地址：oracle jdk

使用命令下载：

wget https://download.oracle.com/otn/java/jdk/8u291-b10/d7fc238d0cbf4b0dac67be84580cfb4b/jdk-8u291-linux-x64.tar.gz?AuthParam=1619936099_3a37c8b389365d286242f4b1aa4967b0

因为 oracle 公司不允许直接通过 wget 下载官网上的 jdk 包

正确做法：

• 通过搜索引擎搜索 jdk 官网下载， 进入 oracle 官网

• 勾选 accept licence agreement ，并选择你系统对应的版本

• 点击对应的版本下载，弹出如下下载框，然后复制下载链接

这个复制的链接结算我们 wget 命令的地址。

• 正确的下载链接会有”AuthParam“，这个就是 oracle 公司需要用户在下载时提供的注册信息。而且这个信息是用时间限制的，过了一段时间后就会失效，如果你想再次下载 jdk 包，只能再次重复上面的操作。

检查大小

ls -lht

设置环境变量

查看文件名（用于解压）

ls

创建文件夹

mkdir /usr/local/java

解压

tar -zxvf 你的jdk包名 -C /usr/local/java/

查看文件名（用于配置环境变量）

ls /usr/local/java

打开配置文件

vi /etc/profile

在末尾添加

jdk8

添加jdk地址变量

JAVA_HOME=/usr/local/java

添加jre地址变量

JRE_HOME=${JAVA_HOME}/jre

添加java官方库地址变量

CLASSPATH=.:$JAV{A}_{H}OME/lib:${JRE_HOME}/lib

添加PATH地址变量

PATH=$JAV{A}_{H}OME/bin:$PATH

使变量生效

export JAVA_HOME JRE_HOME CLASSPATH PATH

刷新配置文件

source /etc/profile

添加软链接（可选）

ln -s /usr/local/java/jdk1.8.0_291/bin/java /usr/bin/java

检查

java -version

Python

---

此文采用版本：Python3.6

我们已经掌握了二进制包安装的方法，所以我们直接通过 yum 来安装 Python

yum -y install python36

依赖：python36-libs

安装 pip3（默认已安装）

yum install python36-pip -y

检查

python3 --version

Scala

---

此文采用版本：Scala2.11.7

请确保已安装JDK8或者JDK11

下载

Scala 官方下载地址：Scala

使用命令下载：

wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz

检查大小

ls -lht

设置环境变量

查看文件名（用于解压）

ls

创建文件夹

mkdir /usr/local/scala

解压

tar -zxvf 你的jdk包名 -C /usr/local/scala/

查看文件名（用于配置环境变量）

ls /usr/local/scala

打开配置文件

vi /etc/profile

在末尾添加

scala 2.11.7

添加scala执行文件地址变量

SCALA_HOME=/usr/local/scala/scala-2.11.7

添加PATH地址变量

PATH=$PATH:$SCALA_HOME/bin

使变量生效

export SCALA_HOME PATH

刷新配置文件

source /etc/profile

检查

scala -version

配置 Hadoop Cluster

================================================================================

集群复刻

---

使用虚拟机的朋友请直接克隆

切记要返回第四步骤更改各节点ip，不然会发生ip冲突

1）备份

前往根目录

cd /

备份

tar cvpzf backup.tgz / --exclude=/proc --exclude=/lost+found --exclude=/mnt --exclude=/sys --exclude=backup.tgz

备份完成后，在文件系统的根目录将生成一个名为“backup.tgz”的文件，它的尺寸有可能非常大。你可以把它烧录到 DVD 上或者放到你认为安全的地方去

在备份命令结束时你可能会看到这样一个提示：’tar: Error exit delayed from previous

errors’，多数情况下你可以忽略

2）准备

别忘了到其他设备下重新创建那些在备份时被排除在外的目录（如果不存在）：

mkdir proc

mkdir lost+found

mkdir mnt

mkdir sys

3）复刻

可选前提：

• 将备份文件拷贝至外存储

• 到其他设备下挂在外存储

到其他物理机上恢复文件

tar xvpfz backup.tgz -C /

恢复 SELinux 文件属性

restorecon -Rv /

集群互联

---

HOST 配置

1）修改 hostname

到各设备下执行

设备 1 （立即生效）

hostnamectl set-hostname master

设备 2 （立即生效）

hostnamectl set-hostname slave1

设备 3 （立即生效）

hostnamectl set-hostname slave2

设备 4 （立即生效）

hostnamectl set-hostname slave3

2）配置 host 文件

查看各设备 ip（到各设备下执行）

ifconfig

到 master 下打开 host 文件

vim /etc/hosts

末尾追加

master设备的ip master

slave1设备的ip master

slave2设备的ip master

slave3设备的ip master

3）通过 scp 传输 host 文件

scp 语法：

scp 文件名 远程主机用户名@远程主机名或ip:存放路径

到 master 下执行

scp /etc/hosts root@SlaveIP:/etc/

注意：请按照 slave 个数，对其 ip 枚举传输

ping 一下

ping -c 4 slave1

能 ping 通就没问题

配置无密码 SSH

以下操作均在master下执行

1）到各设备下生成密钥

ssh-keygen -t rsa

一路回车

到 master 生成公钥

cd ~/.ssh/ && cat id_rsa.pub > authorized_keys

之后将各设备的密钥全复制到authorized_keys文件里

2）通过 scp 传输公钥

到 master 下执行

scp authorized_keys root@SlaveNumbe:~/.ssh/

注意：请按照之前设置的 hostname ，对其 ip 枚举传输

例如： scp authorized_keys root@slave1:~/.ssh/

注意，如果各节点下没有 ~/.ssh/ 目录则会配置失败

检查

ssh slave1

中断该 ssh 连接（可选）

exit

客户端配置（建议）

该配置主要方便客户端远程操作

无论是用虚拟机进行学习的朋友，还是工作的朋友都强烈推荐

以下操作均在客户端（MAC OS）上执行

修改 hots 文件

sudo vim /etc/hosts

将 master 设备下/etc/hosts 之前追加的内容，copy 追加到客户端 hosts 末尾

ping 一下，能 ping 通就没问题

windows 修改 host 教程

免密钥 ssh 登陆

客户端生产密钥：

sudo ssh-keygen -t rsa

打开密钥

vim ~/.ssh/id_rsa

• 将密钥的内容追加到 master 设备的 ~/.ssh/authorized_keys 文件内

到 master 内向各节点申请同步

scp authorized_keys root@SlaveNumbe:~/.ssh/

windows ssh 目录：C:\Users\your_userName.ssh

检查

ssh master

部署 ZooKeeper

===========================================================================

此文采用版本 ZooKeepr3.6.3

官方下载地址：Zookeeper

记得下载带bin字样的

准备

---

从客户端上下载 压缩包

到 master 节点上创建 zookeeper 文件夹

mkdir /usr/local/zookeeper

从客户端上传到 master

scp 你下载的Zookeeper路径 root@master:/usr/local/zookeeper

以下操作切换至master节点上

解压

cd /usr/local/zookeeper

tar xf apache-zookeeper-3.6.3-bin.tar.gz

添加环境变量

---

打开配置文件

vim /etc/profile

在末尾添加

ZooKeeper3.6.3

添加zookeeper地址变量

ZOOKEEPER_HOME=/usr/local/zookeeper/apache-zookeeper-bin.3.6.3

添加PATH地址变量

PATH=$ZOOKEEPE{R}_{H}OME/bin:$PATH

使变量生效

export ZOOKEEPER_HOME PATH

刷新配置文件

source /etc/profile

修改配置

---

创建数据目录

mkdir /zookeeper

mkdir /zookeeper/data

mkdir /zookeeper/logs

同步

自行枚举

添加配置文件

cp $ZOOKEEPER_HOME/conf/zoo_sample.cfg $ZOOKEEPER_HOME/conf/zoo.cfg

vim $ZOOKEEPER_HOME/conf/zoo.cfg

修改和添加

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/zookeeper/data

dataLogDir=/zookeeper/logs

clientPort=2181

server.1=master:2888:3888

server.2=slea1:2888:3888

server.3=slea2:2888:3888

server.4=slea3:2888:3888:observer

集群部署：

---

到 master 下执行

请根据节点个数枚举执行

同步文件

scp /etc/profile root@slave1:/etc/

scp -r /zookeeper root@slave1:/

scp -r /usr/local/zookeeper root@slave1:/usr/local/

配置节点标识

参考资资料：leader 选举

ssh master “echo “9” > /zookeeper/data/myid”

ssh slave1 “echo “1” > /zookeeper/data/myid”

ssh slave2 “echo “2” > /zookeeper/data/myid”

ssh slave3 “echo “3” > /zookeeper/data/myid”

防火墙配置

#开放端口

firewall-cmd --add-port=2181/tcp --permanent

firewall-cmd --add-port=2888/tcp --permanent

firewall-cmd --add-port=3888/tcp --permanent

#重新加载防火墙配置

firewall-cmd --reload

节点批量执行

master节点

ssh master "firewall-cmd --add-port=2181/tcp --permanent && firewall-cmd --add-port=2888/tcp --permanent && firewall-cmd --add-port=3888/tcp --permanent && firewall-cmd --reload "

slave1节点 其他请自行枚举执行

ssh slave1 "firewall-cmd --add-port=2181/tcp --permanent && firewall-cmd --add-port=2888/tcp --permanent && firewall-cmd --add-port=3888/tcp --permanent && firewall-cmd --reload "

启动 ZooKeeper

sh $ZOOKEEPER_HOME/bin/zkServer.sh start

编写批量启动 shell

vim /bin/zk && chmod 777 /bin/zk

#! /bin/sh

case $1 in

“start”){

echo -e “\e[32m---------------------------------------------------------------------------\033[0m”

echo -e “\e[32m…master-start…\033[0m”

ssh master “sh $ZOOKEEPER_HOME/bin/zkServer.sh start”

echo -e “\e[32m…slave1-start…\033[0m”

ssh slave1 “sh $ZOOKEEPER_HOME/bin/zkServer.sh start”

echo -e “\e[32m…slave2-start…\033[0m”

ssh slave2 “sh $ZOOKEEPER_HOME/bin/zkServer.sh start”

echo -e “\e[32m…slave3-start…\033[0m”

ssh slave3 “sh $ZOOKEEPER_HOME/bin/zkServer.sh start”

echo -e “\e[32m…all-start-end…\033[0m”

echo -e “\e[32m---------------------------------------------------------------------------\033[0m”

};;

“stop”){

echo -e “\e[32m---------------------------------------------------------------------------\033[0m”

echo -e “\e[32m…master-stop…\033[0m”

ssh master “sh $ZOOKEEPER_HOME/bin/zkServer.sh stop”

echo -e “\e[32m…slave1-start…\033[0m”

ssh slave1 “sh $ZOOKEEPER_HOME/bin/zkServer.sh stop”

echo -e “\e[32m…slave2-start…\033[0m”

ssh slave2 “sh $ZOOKEEPER_HOME/bin/zkServer.sh stop”

echo -e “\e[32m…slave3-start…\033[0m”

ssh slave3 “sh $ZOOKEEPER_HOME/bin/zkServer.sh stop”

echo -e “\e[32m…all-stop-end…\033[0m”

echo -e “\e[32m---------------------------------------------------------------------------\033[0m”

};;

“status”){

echo -e “\e[32m---------------------------------------------------------------------------”

echo -e “\e[32m…master-status…\033[0m”

ssh master “sh $ZOOKEEPER_HOME/bin/zkServer.sh status”

echo -e “\e[32m…slave1-start…\033[0m”

ssh slave1 “sh $ZOOKEEPER_HOME/bin/zkServer.sh status”

echo -e “\e[32m…slave2-start…\033[0m”

ssh slave2 “sh $ZOOKEEPER_HOME/bin/zkServer.sh status”

echo -e “\e[32m…slave3-start…\033[0m”

ssh slave3 “sh $ZOOKEEPER_HOME/bin/zkServer.sh status”

echo -e “\e[32m…all-status-end…\033[0m”

echo -e “\e[32m---------------------------------------------------------------------------\033[0m”

};;

esac

命令

启动

zk start

查看状态

zk status

关闭

zk stop

启动之后 MODE 和我的显示一样就算成功了

部署 Hadoop

========================================================================

此文采用版本 Hadoop3.2.2

官方下载地址：Hadoop

准备

---

从客户端上下载 压缩包

到 master 节点上创建 Hadoop 文件夹

mkdir /usr/local/hadoop

从客户端上传到 master

scp 你下载的hadoop路径 root@master:/usr/local/hadoop

以下操作切换至master节点上

解压

cd /usr/local/hadoop

tar xf hadoop包名

添加环境变量

---

打开配置文件

vim /etc/profile

在末尾添加

Hadoop 3.2.2

添加hadoop地址变量

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数前端工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Web前端开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：前端）

最后

文章到这里就结束了，如果觉得对你有帮助可以点个赞哦，如果有需要前端校招面试题PDF完整版的朋友可以点击这里即可获取，包括答案解析。

---------"

echo -e “\e[32m…master-status…\033[0m”

ssh master “sh $ZOOKEEPER_HOME/bin/zkServer.sh status”

echo -e “\e[32m…slave1-start…\033[0m”

ssh slave1 “sh $ZOOKEEPER_HOME/bin/zkServer.sh status”

echo -e “\e[32m…slave2-start…\033[0m”

ssh slave2 “sh $ZOOKEEPER_HOME/bin/zkServer.sh status”

echo -e “\e[32m…slave3-start…\033[0m”

ssh slave3 “sh $ZOOKEEPER_HOME/bin/zkServer.sh status”

echo -e “\e[32m…all-status-end…\033[0m”

echo -e “\e[32m---------------------------------------------------------------------------\033[0m”

};;

esac

命令

启动

zk start

查看状态

zk status

关闭

zk stop

启动之后 MODE 和我的显示一样就算成功了

部署 Hadoop

========================================================================

此文采用版本 Hadoop3.2.2

官方下载地址：Hadoop

准备

---

从客户端上下载 压缩包

到 master 节点上创建 Hadoop 文件夹

mkdir /usr/local/hadoop

从客户端上传到 master

scp 你下载的hadoop路径 root@master:/usr/local/hadoop

以下操作切换至master节点上

解压

cd /usr/local/hadoop

tar xf hadoop包名

添加环境变量

---

打开配置文件

vim /etc/profile

在末尾添加

Hadoop 3.2.2

添加hadoop地址变量

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数前端工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Web前端开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

[外链图片转存中…(img-p5yXYPCZ-1712998685134)]

[外链图片转存中…(img-3927LJpV-1712998685134)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

[外链图片转存中…(img-sYPdsUU0-1712998685134)]

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：前端）

最后

文章到这里就结束了，如果觉得对你有帮助可以点个赞哦，如果有需要前端校招面试题PDF完整版的朋友可以点击这里即可获取，包括答案解析。

[外链图片转存中…(img-fmTaD2Dr-1712998685135)]