2024年大数据最全[大数据之集群部署】01 集群环境安装-初始环境准备(1)，大数据开发面试题整理最新

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

目录

一、集群环境硬件准备

二、运行环境准备

---

【文章说明】：本篇将介绍如何通过以下步骤，将在虚拟机或云服务器上为搭建Hadoop集群或CDH集群做准备工作

【操作步骤】：以下操作均以CentOS 7.9系统为例，是搭建Hadoop集群或CDH集群的前置操作。本集群部署采用三台云服务器进行搭建，因资源配置问题，可以在开发环境中使用，若是生产环境搭建，可以参考：https://download.csdn.net/download/weixin_42294130/89035977。

一、集群环境硬件准备

（一）集群硬件清单

名称	内网IP	CPU	内存	用户名
hadoop102	192.168.90.8	32核	64g	root
hadoop103	192.168.90.9	16核	32g	root
hadoop104	192.168.90.10	16核	32g	root

（二）集群安装组件清单

服务****名称	子****服务	服务器 hadoop102	服务器 hadoop103	服务器 hadoop104
HDFS	NameNode	√
DataNode	√	√	√
SecondaryNameNode			√
Yarn	NodeManager	√	√	√
Resourcemanager		√
Zookeeper	Zookeeper Server	√	√	√
Flume（采集日志）	Flume	√	√
Kafka	Kafka	√	√	√
Flume（消费Kafka）	Flume			√
Hive	Hive	√
MySQL	MySQL	√
Spark		√
Superset				√
Datax		√
Dolphinscheduler	MasterServer	√
WorkServer	√	√	√

二、运行环境准备（所有节点均需要操作）

1. 配置集群网络，若是虚拟机请参考：【Linux运维】Linux之虚拟机配置网络-CSDN博客

2.安装常用工具包

//更新yum包
yum update -y

//安装vim编辑器、网络时间同步工具、工具包、下载工具、服务器与本地电脑传输工具、制作脚本工具、rsync工具包、locate命令包 “红帽系”操作系统的额外安装包
yum install -y vim ntpdate net-tools wget lrzsz git rsync mlocate ntp epel-release

//httpd包，并开启服务
yum install -y httpd
//开启服务
service httpd restart

3. 修改主机名称

// 打开配置文件

vim /etc/hostname

// 删除文件中内容，在文件中增加主机别名，比如在01节点为hadoop01，02节点为hadoop02，03节点为hadoop03

4.  关闭防火墙与关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld.service

5. 创建bigdata用户，并修改bigdata用户的密码（此操作是为了降低用户权限，集群操作安全，可选步骤）

useradd bigdata


![img](https://img-blog.csdnimg.cn/img_convert/cc4fa71d1ba76a7a9a2c038d51638def.png)
![img](https://img-blog.csdnimg.cn/img_convert/efd9fb533c6f08109748096d95e57b42.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

(https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**