目录
【文章说明】:本篇将介绍如何通过以下步骤,将在虚拟机或云服务器上为搭建Hadoop集群或CDH集群做准备工作
【操作步骤】:以下操作均以CentOS 7.9系统为例,是搭建Hadoop集群或CDH集群的前置操作。本集群部署采用三台云服务器进行搭建,因资源配置问题,可以在开发环境中使用,若是生产环境搭建,可以参考:https://download.csdn.net/download/weixin_42294130/89035977。
一、集群环境硬件准备
(一)集群硬件清单
名称 | 内网IP | CPU | 内存 | 用户名 |
hadoop102 | 192.168.90.8 | 32核 | 64g | root |
hadoop103 | 192.168.90.9 | 16核 | 32g | root |
hadoop104 | 192.168.90.10 | 16核 | 32g | root |
(二)集群安装组件清单
服务****名称 | 子****服务 | 服务器 hadoop102 | 服务器 hadoop103 | 服务器 hadoop104 |
HDFS | NameNode | √ | ||
DataNode | √ | √ | √ | |
SecondaryNameNode | √ | |||
Yarn | NodeManager | √ | √ | √ |
Resourcemanager | √ | |||
Zookeeper | Zookeeper Server | √ | √ | √ |
Flume(采集日志) | Flume | √ | √ | |
Kafka | Kafka | √ | √ | √ |
Flume(消费Kafka) | Flume | √ | ||
Hive | Hive | √ | ||
MySQL | MySQL | √ | ||
Spark | √ | |||
Superset | √ | |||
Datax | √ | |||
Dolphinscheduler | MasterServer | √ | ||
WorkServer | √ | √ | √ |
二、运行环境准备(所有节点均需要操作)
1. 配置集群网络,若是虚拟机请参考:【Linux运维】Linux之虚拟机配置网络-CSDN博客
2.安装常用工具包
//更新yum包
yum update -y//安装vim编辑器、网络时间同步工具、工具包、下载工具、服务器与本地电脑传输工具、制作脚本工具、rsync工具包、locate命令包 “红帽系”操作系统的额外安装包
yum install -y vim ntpdate net-tools wget lrzsz git rsync mlocate ntp epel-release//httpd包,并开启服务
yum install -y httpd
//开启服务
service httpd restart
3. 修改主机名称
// 打开配置文件
vim /etc/hostname
// 删除文件中内容,在文件中增加主机别名,比如在01节点为hadoop01,02节点为hadoop02,03节点为hadoop03
4. 关闭防火墙与关闭防火墙开机自启
systemctl stop firewalld
systemctl disable firewalld.service
5. 创建bigdata用户,并修改bigdata用户的密码(此操作是为了降低用户权限,集群操作安全,可选步骤)
useradd bigdata
passwd bigdata
![img](https://img-blog.csdnimg.cn/img_convert/0a45d0051701a4155250168ab8551f65.png)
![img](https://img-blog.csdnimg.cn/img_convert/bfe940a8a8ab51c232d86bd5b27dbb16.png)
![img](https://img-blog.csdnimg.cn/img_convert/42f409973cd4d2b3b85cb7b7a62e9f95.png)
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**