（非常详细）大数据平台学习·环境安装配置（一）（RockyLinux9版）

已于 2022-10-22 23:01:01 修改
阅读量2.2k 收藏 17
点赞数 3
分类专栏： 大数据平台 文章标签： 大数据 linux big data 学习
于 2022-10-22 00:58:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Spark_BITZH/article/details/127454731
版权

一.文章简介

着手搭建大数据平台时，配置虚拟机环境是成为新手的第一道门槛。虽然各种视频和网站上也有很多虚拟机安装配置教程，但由于对 Linux 环境不熟悉，同时加上网上不少教程都是五花八门的centos，ubuntu等各种不同版本的Linux系统导致具体步骤也不一样，导致小白折腾老几天愣是没装成功（下面我将详细的介绍虚拟机安装与环境配置）

文章目录

二.资源准备

虚拟机软件: VMware Workstation
VMware官方下载地址
（注意：VMware需要许可证，建议百度）

客户机操作系统：Rocky Linux 9
RockyLinux官方下载地址

SSH连接工具：XShell7、Xftp7
XShell下载地址
Xftp下载地址
（注意：XShell和Xftp都是需要付费购买的）

三.创建虚拟机教程

1.首先对主从节点进行ip等分配

虚拟机名IP
master192.168.xxx.140
slaver1192.168.xxx.141
slaver2192.168.xxx.142
slaver3192.168.xxx.143

2.创建虚拟机

（1）打开VMware Workstation ， 点击左上角的文件 ，选择创建虚拟机

在这里插入图片描述

（2）选择自定义（高级），然后下一步

在这里插入图片描述

（3）一直下一步，直到安装客户机操作系统，此处选择稍后安装

在这里插入图片描述

（4）下一步，到选择客户机操作系统，选择Linux，版本是Red Hat Enterprise Linux 8 64位

在这里插入图片描述

（5）下一步，命名虚拟机，虚拟机名称建议采用master，位置自主选择，建议选择空闲容量具有100G以上的磁盘作为存储

在这里插入图片描述

（6）下一步，设置处理器，可按需求设置

在这里插入图片描述

（7）下一步，设置虚拟机内存，根据需求设置，最低1GB

在这里插入图片描述

(8）下一步，选择网络类型，选择NAT模式

在这里插入图片描述

（9）下一步，选择I/O控制器类型、选择磁盘类型都是默认选择**

（10）下一步，选择磁盘，此处选择创建新虚拟磁盘

在这里插入图片描述

（10）下一步，指定磁盘容量，此处根据需求设置
在这里插入图片描述

（11）下一步，指定磁盘文件，默认

（12）下一步，选择自定义硬件，点击新CD/DVD(SATA),右边连接选择使用ISO映像文件，选择下载好的RockyLinux 9 iso文件

在这里插入图片描述

（13）点击下方添加，选择网络适配器，将新增的网络适配器选择仅主机模式。

在这里插入图片描述

（14）点击完成退出，此时虚拟机已创建，等待配置Linux系统

四.安装RockyLinux 9系统

1. 开启虚拟机，耐心等待挂载

在这里插入图片描述

2.选择安装过程语言，看个人需求选择

在这里插入图片描述

3.配置Languages Support

此处建议配置中英两种语言，不建议纯中文，因为如果出现报错，中文呈现会是乱码形式。
在这里插入图片描述

4.配置Software Selection，选择最小安装

在这里插入图片描述

5.配置Installation Destation，选择全选磁盘

在这里插入图片描述

6.配置Network & Host Name

此处选择我们新增的网卡适配器，选中后，右下角点击configure进入网卡配置，点击IPv4 Settings在这里插入图片描述

然后，将method选择为Manual，并且在Address处，新增网络，如下图所示
在这里插入图片描述

7.配置root账号和密码（非常重要，密码一定要记住）

在这里插入图片描述

8.配置User Creation，建立大数据专用账号(一定要勾选选择为管理员，否则后续出现权限问题)

在这里插入图片描述

9.配置Time & Date

在这里插入图片描述

10.设置完成，点击 Begin Installation,耐心等待

在这里插入图片描述

11.安装完成后，重启虚拟机即可

五.基础信息配置

1.登录大数据专用账户spark

（注意：在Linux下，密码是不显示的）在这里插入图片描述

2.下载相应工具，方便配置

(1）安装vim工具

命令： sudo dnf install vim
在这里插入图片描述
需要输入账户密码，然后安装过程中输入两次 y

（2）安装 net-tools工具

命令： sudo dnf install net-tools

在这里插入图片描述

3.配置主机名

命令：sudo vim /etc/hostname
讲本主机名修改为，输入命令后直接写 master 上去,重启后就能看到生效
在这里插入图片描述

4.配置hosts文件

命令 ：sudo vim /etc/hosts
将开始分配好的主机名和对应IP写入如下
在这里插入图片描述

5.克隆虚拟机

（1）关闭主节点虚拟机，在VMware上选择克隆

（2）下一步选择克隆自虚拟机中当前状态

（3）下一步，选择创建整克隆

（4）编辑新虚拟机名称和位置

在这里插入图片描述

（5）点击完成，克隆成功，用同样方法克隆剩下的两天从节点虚拟机

6. 修改三台从节点虚拟机配置

（1）修改主机名hostname，具体操作和master主节点一样

（2）修改网络配置

说明：修改新增的网卡适配器中的ipv4地址，将其修改为对应的IP
(rockyLinux 9采用新的网络管理工具，要特别注意)
命令：
sudo vim /etc/NetworkManager/system-connections/ens192.nmconnections在这里插入图片描述
具体如下：在这里插入图片描述

（3）修改后重启，其他从节点同样步骤修改

(4)使用ifconfig查看所有节点ip，看看是否配置正确

六.测试XShell7，Xftp7登录

1.打开XShell7，选择左上角文件，点击新建，弹出新建会话属性窗口

在这里插入图片描述

2.名称输入主机名，主机输入对应的IP

在这里插入图片描述

3.点击左侧用户身份验证，输入账号密码

#

4.其他从节点机器同样操作，测试是否成功连接

七.关闭防火墙

非常重要，一定要关闭
命令：
sudo systemctl stop firewalld.service
sudo systemctl diable firewalld.service
在这里插入图片描述

八.配置ssh免密登录

1.利用XShell同时操作所有虚拟机，生成密钥

命令：ssh-kengen -t rsa
期间需要多次按enter键确认
在这里插入图片描述

2.将主节点的密钥通过hosts上设定的从节点配置，发送给各节点

命令：ssh-copy-id 从节点主机名
期间需要输入一次yes和密码
在这里插入图片描述
其他两台同样操作

3.测试免密登录

下图所示就是成功免密登录
在这里插入图片描述

九.配置时间同步

由于ruckyLinux 9采用chrony来管理ntp，所以进入/etc/chrony.conf修改配置

命令：sudo vim /etc/chrony.conf

1.主节点新增如下配置

配置1：在这里插入图片描述

配置2：在这里插入图片描述

2.重启chrony工具，并设置开机自启动，查看运行状态

命令：
sudo systemctl status chronyd.service
sudo systemctl enable chronyd.service
sudo systemctl status chronyd.service
在这里插入图片描述

3.查看同步状态

命令1：chronyc sourcestats -v
在这里插入图片描述
命令2：timedatectl
在这里插入图片描述

4.对三个从节点同样的文件进行如下修改

注释掉pool行
在这里插入图片描述

5.同样重启chrony工具，并设置开机自启动，查看运行状态，检测同步状态

命令1：
sudo systemctl status chronyd.service
sudo systemctl enable chronyd.service
sudo systemctl status chronyd.service
在这里插入图片描述

命令2：chronyc sourcestats -v
在这里插入图片描述

命令3：timedatectl

在这里插入图片描述

总结：上面就是基本环境配置啦，这是非常关键的配置，大家一定要小心配置，如果有哪里写的不好，欢迎各位大佬评论区指正

火花花spark
关注
  • 3
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Rocky Linux 配置 PHP 环境
业余敲代码
07-11 1073
安装 PHP # 更新软件包 sudo dnf upgrade --refresh -y # 安装 EPEL 源 sudo dnf install \ https://dl.fedoraproject.org/pub/epel/epel-release-latest-9.noarch.rpm \ https://dl.fedoraproject.org/pub/epel/epel-next-release-latest-9.noarch.rpm
大数据--Hadoop环境部署(1)Linux环境搭建
qq_51641196的博客
12-03 585
一.安装三台Linux虚拟机使用centos7系统,命名node_01,node_02,node_03,具体在VMware上的各种安装过程见其他博客二.虚拟机参数设置(温馨提示:直接在root权限下进行配置会减少很多困扰~)1.配置Linux系统网络及主机名创建完成的三台虚拟机默认为动态IP地址，且虚拟机Node_02和Node_03是通过克隆虚拟机Node_01创建的，会导致这两台虚拟机的主机...
2024年运维最新虚拟机安装RockyLinux 9(1)，2024年最新【性能优化实战】
最新发布
2301_78146994的博客
05-10 1569
点击Done之后，需要设置目录，点击Click开头的蓝色英文，下面的Encrypt My data是加密我的数据的意思，是否加密自己决定，我这边选择不勾选，无需加密。3.选择上海时区，选择安装mini最小化版本，设置网络这里一般是双网卡和静态IP才会进去设置，这里只是测试，直接默认就好了。打开FTP软件，无法在目录下看到.ssh的文件夹(隐藏的)，找到C盘的相应用户名，选择路径/.ssh就可以看到密钥文件了。2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?
Rocky Linux 8 安装minio
qq_38899062的博客
10-24 1510
Rocky Linux 8 安装minio
Rocky Linux 9 安装与换源
woodman的专栏
08-29 3748
【代码】Rocky Linux 9 安装与换源。
Rocky9 系统安装后初始化配置
qq_23435961的博客
07-25 3646
rocky9 系统初始化
大数据开发学习环境docker.zip
04-07
大数据开发学习环境.zip大数据开发学习环境.zip大数据开发学习环境.zip大数据开发学习环境.zip大数据开发学习环境.zip大数据开发学习环境.zip大数据开发学习环境.zip大数据开发学习环境.zip大数据开发学习环境.zip...
大数据开发学习环境.zip
04-07
大数据开发学习环境.zip大数据开发学习环境.zip大数据开发学习环境.zip大数据开发学习环境.zip大数据开发学习环境.zip大数据开发学习环境.zip大数据开发学习环境.zip大数据开发学习环境.zip大数据开发学习环境.zip...
大数据平台CDH6.2.0安装部署
10-27
大数据平台CDH6.2.0安装部署 大数据平台CDH6.2.0安装部署是指使用Cloudera Manager 6.2.0版本安装和部署大数据平台的过程。该过程包括安装Cloudera Manager Server、配置MySQL数据库、部署CDH Parcel文件、配置...
某大数据平台开发及环境配置手册（知识研究或个人学习）
12-14
一、大数据平台概述 大数据平台是一个集成了数据采集、存储、处理、分析和可视化等功能的系统。它可以帮助用户从海量数据中挖掘有价值的信息，为企业决策提供支持。大数据平台通常包括以下几个部分： 1. 数据采集...
docker构建大数据开发学习环境.zip
04-07
docker构建大数据开发学习环境.zipdocker构建大数据开发学习环境.zipdocker构建大数据开发学习环境.zipdocker构建大数据开发学习环境.zipdocker构建大数据开发学习环境.zipdocker构建大数据开发学习环境.zipdocker...
在Rocky Linux 9上安装和使用Docker
weixin_42857718的博客
05-17 1699
linux rocky安装docker的步骤
RockyLinux9.2安装k8s 1.27+calico+BGP+OpenELB
qq_30051761的博客
05-30 3478
BIRD（Bird Internet Routing Daemon）是一种开源的路由软件，可用于实现多种路由协议，例如 BGP、OSPF、RIPv2 等。它是一个运行在 Linux 和 Unix 操作系统上的守护进程，用于控制网络路由器之间的数据流动。官方文档: https://bird.network.cz/为了降低学习成本，本文不使用物理路由器来配置BGP，使用BIRD来模拟路由器;
Linux安装.Net core 环境并运行项目
aishuju1的专栏
01-11 1280
一 安装环境 1.  从微软官网下载 Linux版本的.NetCoreSdk 2.0 安装包 打开终端: 第一步： sudo yum install libunwind libicu（安装libicu依赖） 第二步： sudo mkdir -p /home/wenya/dotnet && sudo tar zxf /home/wenya/NetCoreSdk/d...
如何在CentOS8服务器上启用PowerTools
DX奥特曼的博客
04-27 6393
在CentOS/RHEL 8系统服务器上提供的PowerTools资源库提供了开发者相关的工具和库。一些常见的EPEL包依赖于PowerTools提供的包，因此，如果你在CentOS系统上设置了EPEL库，建议你启用PowerTools库。因此，如果你已经在CentOS系统上设置了EPEL资源库，建议你也启用PowerTools。 要在 CentOS/RHEL 8 上启用 PowerTools 仓库，你可以使用 DNF 的 config-manager 插件，它可以管理各种 DNF 配置选项，包括添加/删
在linux 上运行.NetCore 控制台应用，开启自动启动
douyapeng的专栏
04-14 3755
在linux 上运行.NetCore 控制台应用，开启自动启动
【HADOOP】| 环境搭建：从零开始搭建hadoop大数据平台（单机/伪分布式）-上
weixin_30539835的博客
03-05 163
0. 环境说明及软件准备 　　对于大多数学习者而言，是不具备在真实的分布式环境中进行学习和实验的条件，因此这里我也是利用虚拟机软件搭建一个伪分布式的Hadoop平台。当然，如果有多台闲置PC，则可以搭建一个真实分布式环境，方法是一样的。 　　为了保证愉快的学习心情，建议使用更高配置的电脑，不然电脑的卡慢和死机会让人疯掉的。 　　以我的笔记本配置为例，Hadoop在下述环境下可以畅快的奔跑，毫...
MacOS Rocky Linux9安装教程
兵临城下的博客
06-07 1644
语言选择English，真是服务器都是英语环境，这里选English，使自己慢慢适应环境，继续下一步。Centos废了，最近在考虑将服务器迁移至Rockylinux系统，在这里记录下安装过程。这里就 不必多说了，默认即可，设置下root密码，继续下一步，开始安装。接下来就是开始装镜像 ，显示屏幕界面，直接“enter键”继续即可。在保存好镜像位置后，这里调整镜像的处理器及内存大小。固件类型这里选择“传统BIOS”即可，继续下一步。1. 先下载好ISO文件，开始安装。
03.Rocky8的kvm创建虚拟主机和迁移主机
Wsjm666的博客
11-16 845
03.Rocky8的kvm创建虚拟主机
linux配置NTP
07-27
要在Linux上配置NTP（Network Time Protocol），请按照以下步骤进行操作： 1. 安装NTP软件包： 在终端中运行适合你的Linux发行版的包管理命令，例如： - Ubuntu/Debian: `sudo apt-get install ntp` - CentOS/RHEL: `sudo yum install ntp` 2. 配置NTP服务器： 打开NTP配置文件 `/etc/ntp.conf`，使用文本编辑器进行编辑，例如： ``` sudo nano /etc/ntp.conf ``` 在配置文件中，你可以指定一个或多个NTP服务器。通常，你可以从 [NTP Pool Project](https://www.ntppool.org/) 中选择一个合适的服务器，例如： ``` server 0.pool.ntp.org server 1.pool.ntp.org server 2.pool.ntp.org server 3.pool.ntp.org ``` 3. 保存并关闭文件。 4. 启动NTP服务： 在终端中运行以下命令来启动NTP服务： - Ubuntu/Debian: `sudo service ntp start` - CentOS/RHEL: `sudo systemctl start ntpd` 5. 设置NTP服务开机自启动： 如果你希望NTP服务在每次系统启动时自动启动，运行以下命令： - Ubuntu/Debian: `sudo update-rc.d ntp defaults` - CentOS/RHEL: `sudo systemctl enable ntpd` 6. 验证NTP同步： 运行以下命令检查NTP是否已成功与服务器同步时间： ``` ntpq -p ``` 如果输出显示一些NTP服务器的信息，并且在 "st" 列中显示 "reach"（表示已成功同步），则说明NTP已配置并正常工作。 现在你已经配置了NTP服务，你的Linux系统将自动与NTP服务器同步时间。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值