Hadoop集群搭建详细教程

目录前言搭建环境准备开始搭建新建解压目录解压安装包到指定目录配置各个软件环境变量配置Hadoop分布式文件系统配置Spark配置Flink配置Kafka分发分发环境变量文件分发配置完毕的文件修改从机配置文件启动各个软件启动Hadoop集群初始化namenode文件系统启动dfs分布式文件系统WebUI界面启动yarn资源调度系统WebUI界面启动SparkWebUI界面启动FlinkWebUI界面前言竞赛技术平台软件、要求 [第一阶段]笔者环境：环境系统：Centos 7,【

打开IDEA设置看蓝框里的版本打开如下网址，下载对应包Versions: Scala - IntelliJ IDEA (Ultimate, Community, Educational) & Android Studio Plugin | Marketplace如上图，我的是2021.2.24，则就去下载对应版本：下载完毕后为一个zip包【！不要解压！】IDEA选择齿轮⚙ 选择lnstall Plugin from Disk...，从磁盘安装，找到对应的下载好..

目录问题描述查找网络中修改案例问题描述下方是我找问题的思路，如果您赶时间，请直接翻到文章最末查看即可。启动Spark时，只有Master启动成功，其他两台Worker未启动成功查看master主机启动日志，没有问题，查看slave1和slave2的spark启动日志，发现如下：Spark Command: /usr/apps/jdk1.8.0/bin/java -cp /usr/apps/spark-2.1.1/conf/:/usr/apps/spark-2.1.1/jars/*:/usr/a

# For more information about this file, see the man pages# ntp.conf(5), ntp_acc(5), ntp_auth(5), ntp_clock(5), ntp_misc(5), ntp_mon(5).driftfile /var/lib/ntp/drift# Permit time synchronization with our time source, but do not# permit the source to qu

* * * * * * - - - -| | | | || | | | +----- 星期中星期几 (0 - 6) (星期天 为0)| | | +---------- 月份 (1 - 12) | | +--------------- 一个月中的第几天 (1 - 31)| +-------------------- 小时 (0 - 23)+------------.

本文章用到： flink-1.10.2-bin-scala_2.11.tgz 集群：三台【master、slave1、slave2】单机模式部署Hadoop集群普通分布式搭建（省略）/etc/hosts、免密（略）解压tar -zxf flink-1.10.2-bin-scala_2.11.tgz -C /usr/apps重命名：mv flink-1.10.2-bin-scala_2.11 flink-1.10.2修改配置文件：Ⅰ. vim ./conf/mas

目录上传步骤省略解压、编译、安装编译安装配置文件修改修改要点启动redis文件功能详解使用配置的`redis.conf`文件启动redis打开redis命令行：测试退出redis前端启动【不推荐】上传步骤省略本文章所用Redis为redis-4.0.1.tar.gz版本解压、编译、安装# 解压tar -zxf redis-4.0.1.tar.gz -C /usr/apps/进入到解压后的目录中去 cd /usr/apps/redis-4.0.1/编译make命令在redis-4.

上传解压步骤省略进入到kafka解压目录下的Config文件夹修改配置文件：server.propertiesvim server.properties要点：broker.id=0 // 此设置在master主机不必更改，但此值是唯一值，slave1和slave2中要该为1和2其次该值可以改为1 对应的slave1和slave2为2、3，亦可以是2、3、4，只要不一样就可以delete.topic.enable=true该配置在2.X版本可能没有在Server.properties配置文

省去上传步骤请自行上传解压后配置环境变量#SPARK_HOME export SPARK_HOME=/usr/apps/spark-2.1.1export PATH=$SPARK_HOME/bin:$PATH发送给其他两台从机scp /etc/profile slave1:/etc/scp /etc/profile slave2:/etc/修改Spark配置文件进入到conf目录中cd /usr/apps/spark-2.1.1/conf/复制spark-env.sh.templ

需要创建超级用户组（可能安装完MySQL会自动创建，我这边是这样，但不确定是不是我之前装过的问题，所以推荐先设置一下）这里我们需要单独创建一个mySQL的用户，作为MySQL的超级管理员用户，这里也方便我们以后的管理。 groupadd mysql 添加用户组 useradd -g mysql mysql 添加用户 id mysql 查看用户信息。卸载MariaDB(1) rpm -qa | grep mariadb查询是否有该软件(2) 如果有，就卸载：rpm -e ..

新建文件夹：压缩包文件夹，软件安装目录文件夹以下未说明在哪一台主机操作均为在Master主机操作# 递归创建压缩包文件夹mkdir -p /usr/tar# 递归创建软件安装目录文件夹mkdir -p /usr/apps安装上传命令和彩色代码命令【需要联网】# 上传命令安装yum install -y lrzsz# 彩色命令安装yum install -y vim说明：使用lrzsz上传命令或使用XFTP上传均可修改hosts文件，将自己的三台机器IP添加到其中vi /et

需要安装gcc环境解压后make编译如果提示-Jemalloc/jemalloc.h：没有那个文件时，请查看gcc是否安装成功gcc --version如果确定安装成功，运行make distclean将其中的编译文件清除掉，然后再进行make操作如果没有错误，请直接make操作即可这时我们已经编译好了，但是没有安装，我们输入命令make install进行安装，如果没有错误，证明已经安装成功了。安装目录默认在/usr/local/bin我们进入到该目录中去查看下：[root@ma

记得开启MySQL的远程登录：GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'IDENTIFIED BY '001' WITH GRANT OPTION;hive-env.sh：配置Hadoop的路径和Hive的conf配置文件路径hive-site.xml：配置数据库相关<configuration> <property> <name>datanucleus.schema.autoCreateAll</name

hadoop-env.sh：配置Hadoop环境变量# distributed under the License is distributed on an "AS IS" BASIS,# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.# See the License for the specific language governing permissions and# limitations un

hadoop-env.sh：配置Hadoop运行所需的环境变量export JAVA_HOME=/usr/apps/jdkyarn-site.xml：配置Yarn运行所需的环境变量无需更改，具体原因请参照配置文档：if [ "$JAVA_HOME" != "" ]; then #echo "run java in $JAVA_HOME" JAVA_HOME=$JAVA_HOME 如果"$JAVA_HOME" 不等于空，"JAVA_HOME"就等于$JAVA_HOMM也就是你在/etc/

续上一篇文章：12. Hadoop集群搭建 - 分发并修改文件 - 基于CentOS7 -【连载中】上一篇文章已经将配置好的环境变量文件以及Hadoop配置文件分发给两台从机，未操作的同学请自行移步至上一篇文章。目录格式化两遍主节点master启动dfs服务启动yarn服务查看进程请务必查看防火墙状态！命令如下：systemctl status firewalld三台主机都要查看！格式化两遍主节点masterhdfs namenode -format例如：[root@master

续上一篇文章：11. Hadoop集群搭建 - Hadoop配置文件修改 - 基于CentOS7 -【连载中】上一篇文章已经将Hadoop配置文件修改(添加)完毕，未完成的同学请移步上一篇文章目录分发Profile文件查看Profile文件路径分发Profile配置文件：分发Hadoop和JDK应用文件：之前已经配置过免密，如未配置免密的同学请移步至配置免密文章 （最上方专栏中可查看）分发Profile文件查看Profile文件路径Profile文件为我们配置的环境变量文件其路径为：

续上一篇文章：10. Hadoop集群搭建 - Hadoop环境变量配置 - 基于CentOS7 -【连载中】未上传hadoop-2.7.4.tar.gz包的同学请自行上传软件包，不懂请参阅：7. Hadoop集群搭建 - 上传应用/软件 - 基于CentOS7 -【连载中】下载软件包也在其中，请自主操作目录查看、修改Hadoop配置文件编辑配置文件复制生成mapred-site.xml文件修改hadoop-env.sh修改yarn-env.sh修改core-site.xml修改hdfs-site.

续上一篇文章：9. Hadoop集群搭建 - 配置Java_Home环境变量 - 基于CentOS7 -【连载中】之前已经把JDK的路径，若未配置请移步上一篇文章目录解压Hadoop软件包位置查看Hadoop软件包位置配置Hadoop环境变量解压Hadoop软件包位置解压命令：tar -zxvf hadoop-2.7.4.tar.gz -C /usr/apps/hadoop/这次是进入到该软件包所属目录下解压[root@master ~]# cd /usr/tar/[root@mast

续上一篇文章：目录扩展正文扩展 我们将jdk的文件夹名称更改为一个比较好记的名字首先进入到jdk所属目录“Java”[root@master ~]# cd /usr/apps/java/之后我们查看下文件夹名称[root@master java]# lsjdk1.8.0_161[root@master java]# 改名命令：mv 需要改的文件名 改为的文件名例：mv jdk1.8.0_161/ jdk[root@master java]# mv jdk1

续上一篇文章：7. Hadoop集群搭建 - 上传应用/软件 - 基于CentOS7 -【连载中】目录扩展解压文件解压jdk到指定文件夹解压Hadoop到指定文件夹进入到解压后的目录查看是否解压成功扩展说明：以下表格中红色标*的为必须项解压功能 / 效果-c建立压缩档案-x解压-t查看内容-r向压缩归档文件末尾追加文件-u更新原压缩包中的文件说明：这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。

续上一篇文章：6. Hadoop集群搭建 - 关闭防火墙 - 基于CentOS7 -【连载中】目录软件列表（附下载链接）工具列表说明正文Master主机安装上传组件新建文件夹软件列表（附下载链接）jdk-8u161-linux-x64.tar.gz - （提取码：a48g）hadoop-2.7.4.tar.gz - （提取码：guha）工具列表可以使用Xftp工具进行上传Xmanager官网：Xmanager中文官网Xmanager、Xshell、Xftp官网下载地址：下载链接说明由

Hadoop集群搭建-创建Linux主机-基于CentOS7目录Hadoop集群搭建-创建Linux主机-基于CentOS7博主の配置正文前言创建空盘虚拟机安装 CentOS 7 系统博主の配置主机配置：Windows 10 家庭版虚拟机版本：VMware® Workstation 16 Pro[16.1.2 build-17966106]下载链接：百度网盘 - DownLoad- - - 提取码：36di镜像文件：CentOS 7 -1511 (CentOS-7-x86_64-DVD-151

续上一篇文章：Hadoop集群搭建-创建Linux主机-基于CentOS7目录进入系统输入命令修改IP重启网卡查看是否能Ping通百度进入系统使用root用户进入系统注意：Linux最小安装模式下输入密码是看不到的，小键盘注意开启键盘锁进入系统：输入命令修改IP博主目前采用桥接模式，请注意自己配置桥接和Net模式配置戳此篇文章：输入命令：vi /etc/sysconfig/network-scripts/ifcfg-eno16777736上面的“ifcfg-eno167

目录NAT模式物理机配置CentOS 7 配置桥接模式：物理机配置CentOS 7 配置查看IP相关文章NAT模式物理机配置配置之前请查看你的网络：右下角鼠标右键 > 打开”网络和lnternet”设置 > 更改适配器选项 > VMNet1 和 VMmet8 需要都开启步骤VMware：编辑->虚拟网络编辑器->点我查看如何配置本地网络：将VM8的IPv4地址更改为”使用下面的IP地址”，IP不要和VMware中配置的子网IP和网关一致

续上一篇文章： Hadoop集群搭建-NAT/桥接网络配置-基于CentOS7-【连载中】前言： 推荐优先查看第二种方法这里写目录标题前言：虚拟机 CentOS 7 查看网络状态能联网的状态：不能联网的状态：注解：解决方法说明：虚拟机 CentOS 7 查看网络状态虚拟机输入：ip a或ifconfig若ifconfig报错，请参考此篇文章：3.2 Hadoop集群搭建-Linux中“ifconfig”命令报错问题解决方案-基于CentOS7-【连载中】能联网的状态：[root@mast

前言推荐优先查看第二种方法目录前言解决方法1：说明正文[推荐] 解决方法2：说明：解决方法相关文章解决方法1：说明之前在其他笔者博客中找到过其中的问题，有说明是profile配置文件问题，但经测试无用。正文命令的路径没有在PATH环境变量中。解决方法：手动的去添加环境变量。打开shu/etc/profile文件。命令：vi /etc/profile - 点击查看图片按大写的G，把光标调到文件最末尾的地方。按i进入输入模式，然后在文件的末尾添加如下的一句：export P

说明：1.前面几篇文章讲过了安装系统以及配置网络，该篇文章在前两项事情之后，如未完成请移步到对应文章中完成2.克隆时请不要开启被克隆主机，请等待以下所有步骤完成后方可开机(避免IP冲突)...

续上一篇文章：4. Hadoop集群搭建-克隆虚拟机/从机-基于CentOS7-【连载中】目录前言正文配置hosts文件配置免密验证免密是否成功前言请确保三台主机可以互相Ping通尽量去做”快照“备份，以免发生故障后及时恢复，避免造成更大的损失。本次使用软件：Xshell 6：蓝奏下载，百度网盘下载Xshell6 - 提取码: x2f3 Xshell使用技巧请参阅：Hadoop集群搭建-Xshell小技巧-基于CentOS7-【连载中】正文配置hosts文件Xshell连接三台主机，

续上一篇文章：目录小键盘输入数字乱码解决快速粘贴重复命令一键输入易看错主机导致输错命令解决办法分模块操作全屏模式小键盘输入数字乱码解决新建时：选择[VT模式]->初始数字键盘模式->设置为普通已新建完成时：选择要变更的选项卡->鼠标右键点击属性->选择[VT模式]->初始数字键盘模式->设置为普通->重启Xshell快速粘贴鼠标中键重复命令一键输入Xshell工具栏->查看->撰写->[勾选]撰写栏->下方输入栏

Alt+N新建会话

续上一篇文章：5. Hadoop集群搭建-免密互通配置 | 更改主机名-基于CentOS7-【连载中】说明关闭防火墙为最为保险的方法，若不关闭防火墙则三台主机不能通信（端口未开放）目录说明正文防火墙命令正文以防下次重启后忘记关闭防火墙，我们将其设置为开机不自动启动关闭防火墙：systemctl stop firewalld停止开机启动防火墙：systemctl disable firewalld防火墙命令启动：systemctl start firewalld