Linux CentOS 大数据集群的基础配置(1) 通用基本配置

最新推荐文章于 2022-09-21 00:44:51 发布
最新推荐文章于 2022-09-21 00:44:51 发布
阅读量859 收藏 5
点赞数 2
分类专栏： CentOS 文章标签： linux 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42072754/article/details/102663055
版权

创建三台相同配置的虚拟机

首先创建3个空文件夹，分别用来装3台虚拟机。
在这里插入图片描述
打开VMware
在这里插入图片描述
点击创建新的虚拟机，选择自定义，点击下一步
在这里插入图片描述
选择Workstation15.x或者Workstation14.x都行

在这里插入图片描述
选择稍后安装操作系统
在这里插入图片描述
选择Linux CentOS64位
在这里插入图片描述
这是第一个，选择node01，下一步
在这里插入图片描述
更改虚拟机名称为node01，下一步
在这里插入图片描述
双核处理器，下一步
在这里插入图片描述
4G内存，下一步
在这里插入图片描述
使用NAT，下一步
在这里插入图片描述
选择LSI Logic，下一步
在这里插入图片描述
选择SCSI，下一步
在这里插入图片描述
创建新的虚拟磁盘，下一步
在这里插入图片描述
磁盘40G，拆分多个文件，下一步
在这里插入图片描述
直接下一步
在这里插入图片描述
点击完成
在这里插入图片描述
到这里就创建成功了
在这里插入图片描述
现在，按照上述步骤，把node01的部分改为node02，node03，再创建两个相同配置的虚拟机
步骤参照上面的就行。

第二台
在这里插入图片描述
第三台
在这里插入图片描述
到这里，第一部分就完成了，下一部分是三台虚拟机分别安装操作系统

打开VMware，选中三台中的第一台虚拟机，点击开启此虚拟机
在这里插入图片描述
如果出现这个窗口，点击否
在这里插入图片描述
开机后，卡在这里，说明没使用iso镜像
在这里插入图片描述
关机
在这里插入图片描述
编辑此虚拟机设置
在这里插入图片描述
点击浏览，找到你的iso镜像文件
在这里插入图片描述
然后打开
在这里插入图片描述
勾选启动时连接，点击确定
在这里插入图片描述
开启此虚拟机
在这里插入图片描述
在这里直接按回车
在这里插入图片描述
稍等片刻，出现如下界面，点击skip
在这里插入图片描述

点next
在这里插入图片描述
选择中文简体，再next
在这里插入图片描述
键盘选美国英语式，next
在这里插入图片描述

使用基本存储设备，next
在这里插入图片描述
出现一个窗口，选择 是，忽略所有数据
在这里插入图片描述
主机名修改为node01，下一步
在这里插入图片描述
时间地区 选 亚洲，上海，下一步
在这里插入图片描述
根密码，就是root用户密码，这里我用123456
在这里插入图片描述
无论如何，都要用123456
在这里插入图片描述
点击使用所有空间，下一步
在这里插入图片描述
在弹出的对话框中，选择将修改写入磁盘
在这里插入图片描述
选择basic server，下一步
在这里插入图片描述
等待安装完成…
在这里插入图片描述

安装完成了，点击重新引导
在这里插入图片描述

到这里就安装完成了
在这里插入图片描述
接下来，你需要为另外两台虚拟机，按照上述步骤分别安装相同的操作系统
刚才，你使用了所有空间，而大数据集群的配置需要使用自定义空间。

创建虚拟机，安装系统，一直到下面这一步
在这里插入图片描述
首先创建一个标准分区
在这里插入图片描述
挂载到/ 根目录下 ext4 类型 指定大小20480MB (20G)
在这里插入图片描述
再按照相同步骤，创建引导分区
挂载到/boot ext4类型 固定大小200MB
在这里插入图片描述
再创建标准分区 swap类型 指定空间大小4096MB
在这里插入图片描述
再创建标准分区 挂载/mnt/disk1 ext4类型 指定大小8192MB
在这里插入图片描述
再创建标准分区 挂载/mnt/disk2 ext4类型 指定大小7990MB
在这里插入图片描述
分区完毕后格式化
在这里插入图片描述

将修改写入磁盘
在这里插入图片描述

再下一步，其它步骤按照正常安装进行。
在这里插入图片描述

总结：
5个都是标准分区

挂载到/ 根目录下 ext4 类型 指定大小20480MB 
挂载到/boot ext4类型 固定大小200MB
swap类型 指定空间大小4096MB
再创建标准分区 挂载/mnt/disk1 ext4类型 指定大小8192MB
再创建标准分区 挂载/mnt/disk2 ext4类型 指定大小7990MB

完成图是这样的
在这里插入图片描述

动态网络的配置

刚安装完系统，输入用户名和密码进入系统
在这里插入图片描述
输入ifconfig查看ip信息。
在这里插入图片描述
输入如下命令，进入网络配置文件

vi /etc/sysconfig/network-scripts/ifcfg-eth0
# 编辑网络配置文件

在这里插入图片描述
把ONBOOT=no改为ONBOOT=yes,保存退出
在这里插入图片描述
输入如下命令，重启网络服务

service network restart
或者
/etc/init.d/network restart

在这里插入图片描述
联网状态下输入如下命令，检测动态网络是否配置完成，如果出现如下效果，则完成

ping www.baidu.com

在这里插入图片描述

静态网络的配置

配置静态网络之前，确保你完成了动态网络的配置

输入如下命令,选择进入Network configuration

setup

在这里插入图片描述
进入Device configuration
在这里插入图片描述
进入eth0
在这里插入图片描述
在红色箭头处选中*，按空格打开下方信息输入栏
在这里插入图片描述
按空格后变成这样
在这里插入图片描述

Static IP 自己定义IP 

第一台虚拟机建议配置为192.168.100.201
第二台虚拟机建议配置为192.168.100.202
第三台虚拟机建议配置为192.168.100.203

Netmask  固定格式255.255.255.0

Default gateway IP  必须与下面的截图内的相同

DNS 固定格式 8.8.8.8

点击编辑，虚拟网络编辑器
在这里插入图片描述
选择VMnet8模式 ，点击NAT设置按钮
在这里插入图片描述
出现网关IP的信息，这个就是上面要填的Default gateway IP
在这里插入图片描述
最终填入信息如下，选择ok，回车
在这里插入图片描述
出现如下界面，选择save，回车
在这里插入图片描述
出现如下界面，选择save&quit，回车
在这里插入图片描述

出现如下界面，选择quit，回车
在这里插入图片描述
返回到黑窗口了。
在这里插入图片描述
输入如下命令，重启网络服务

service network restart
或者
/etc/init.d/network restart

在这里插入图片描述
联网状态下输入如下命令，检测静态网络是否配置完成，如果出现如下效果，则完成

ping www.baidu.com

在这里插入图片描述
输入如下命令，查看静态ip，正是我们配置的192.168.100.201

ifconfig

在这里插入图片描述
到这里，第一台的静态网络就配置成功了，按照上述步骤，分别配置第二台和第三台
（第二台静态ip为192.168.100.202，第三台静态ip为192.168.100.203，方便后续操作）

关闭防火墙

由于虚拟机使用内网环境 安全性比较高, 防火墙开启会影响效率, 所以 关闭防火墙

(1)输入如下命令，暂时关闭防火墙

service iptables stop

在这里插入图片描述
(2)输入如下命令，设置开机不启动防火墙，相当于永久关闭

chkconfig iptables off

在这里插入图片描述
(3)输入如下命令，查看防火墙的状态，是否关闭

service iptables status

在这里插入图片描述
其它两台同样按上述步骤配置

关闭selinux

输入如下命令，进入selinux配置文件

vim /etc/selinux/config

在这里插入图片描述
将SELINUX=enforcing注释，并新增一行SELINUX=disabled，退出并保存(强制 wq!)
在这里插入图片描述
其它两台同样按上述步骤配置

更改主机名

输入如下命令，进入主机名配置文件

vim /etc/sysconfig/network

在这里插入图片描述
将node01改为hadoop01，保存退出

在这里插入图片描述
另外两台仿照上述步骤操作，三台主机名分别更改为：
node01 改为 hadoop01
node02 改为 hadoop02
node03 改为 hadoop03

给ip地址起别名

输入如下命令，进入ip地址起别名的配置文件

vim /etc/hosts

在这里插入图片描述
在文件尾添加如下内容，保存退出

192.168.100.201 hadoop01
192.168.100.202 hadoop02
192.168.100.203 hadoop03

在这里插入图片描述
测试，ping自己,ping hadoop01，成功起别名
在这里插入图片描述
其它两台同样按上述步骤配置
也可以使用scp命令，把已经配置好的/etc/hosts文件拷贝到其它虚拟机的
/etc/目录下面，看情况使用。

ssh免密登录

首先测试ssh登录

ssh hadoop02

输入密码后，登陆成功
在这里插入图片描述
现在，设置免密登录

(1)把你的node01,node02,node03虚拟机都开启

在这里插入图片描述
(2)在hadoop01,hadoop02,hadoop03上分别执行

ssh-keygen，连续按三次回车，出现如下效果

cd /root/.ssh/ [enter]
ssh-keygen [enter]
[enter]
[enter]
[enter]

在这里插入图片描述
切换到 /root/.ssh/目录

ll
# 查看当前目录下的文件和文件夹的详细信息

发现有俩文件，一个id_rsa，一个id_rsa.pub，前者是密钥，后者是公钥
在这里插入图片描述

(3)然后执行如下命令，创造hadoop01的免密通行证

ssh-copy-id hadoop01
# 把你的钥匙信息放入一个文件中

在这里插入图片描述
输入yes，回车，出现如下界面，让你输入hadoop01的密码
你这次输入密码之后，以后再访问hadoop01都不用再输入密码了，不信咱们试试
在这里插入图片描述

现在ssh访问hadoop01试试，果然，不需要密码了
在这里插入图片描述
退出ssh连接，再试一次
在这里插入图片描述
同理，记录hadoop02,hadoop03的密码，以后就都免密登录了。
同理，分别在hadoop02，hadoop03也这样配置一遍，它们之间就可以互相免密登录了！

也可以使用scp命令，把已经配置好的/root/.ssh目录拷贝到其它虚拟机的
/root/目录下面，达到快速配置的目的，看情况使用。

集群时钟同步

在hadoop01,hadoop02,hadoop03中分别执行如下代码

ntpdate ntp4.aliyun.com

下面以hadoop03为例展示效果
在这里插入图片描述
这样，三台hadoop集群设备的时间，就与ntp4.aliyun.com统一了。
然而大数据集群是不联网的，所以，需要把其它设备的时间，与第一台设备的时间统一。
我们这里以hadoop01的时间为准，让其它设备与它统一时间。

（1）首先设置hadoop01 的时间为2012年12月21日 12:00:00（方便查看效果）

date -s "2012-12-21 12:00:00"

在这里插入图片描述
(2)检查hadoop01是否安装了ntpd服务

rpm -qa | grep ntpd

发现已经安装了
在这里插入图片描述

没有安装的可以使用如下命令安装

yum -y install ntpd

(3)查看ntpd服务的状态

service ntpd status

发现这个服务处于关闭状态
在这里插入图片描述
(4)打开ntpd服务，设置开机自启动ntpd服务

service ntpd start
# 打开ntpd服务
chkconfig ntpd on
# 设置ntpd服务开机自启动

在这里插入图片描述
(5)编辑ntpd的配置

vim /etc/ntp.conf

在这里插入图片描述
在文件末尾添加以下内容，用来配置时钟广播地址

restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap

在这里插入图片描述
注释以下四行内容：

server0.centos.pool.ntp.org 
server1.centos.pool.ntp.org 
server2.centos.pool.ntp.org 
server3.centos.pool.ntp.org

在这里插入图片描述
去掉以下内容的注释，如果没有这两行注释，那就自己添加上

server 127.127.1.0 # localclock 
fudge 127.127.1.0 stratum 10

在这里插入图片描述
最后保存退出即可。

(6)配置以下内容，保证BIOS与系统时间同步

vim /etc/sysconfig/ntpd

在这里插入图片描述
新开一行添加以下内容，保存退出

SYNC_HWLOCK=yes

在这里插入图片描述
重启ntpd服务

service ntpd restart

在这里插入图片描述
注意: 如果更改ntp时钟服务器的时间,也需要重启 ntpd 服务
到这里，hadoop01就被配置成了一个时钟服务器= =
接下来只需要让hadoop02 和hadoop03与hadoop01时钟同步即可

切换到hadoop02和hadoop03，分别输入以下内容

npddate hadoop01

在这里插入图片描述
在这里插入图片描述
（扩展）设置每隔一小时就同步一次时间

crontab -e
# 编辑定时任务

加入以下命令保存退出即可

* */1 * * * /usr/sbin/ntpdate hadoop01
大数据流浪法师
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
搞定大数据平台：从入门到实战
01-15
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。
redis集群部署 两台服务器25节点
weixin_34060741的博客
05-09 659
安装环境与版本 redis版本信息　　　　Redis server v=3.2.12 服务器操作系统 CentOS Linux release 7.4.1708 (Core) 服务器IP信息 192.168.100.201（15个节点） 192.168.100.243（10个节点） 根据需求所有节点都为master节点，没有slave节点。 安装redis ...
From 192.168.100.201 icmp_seq=14 Destination Host Unreachable
weixin_44519124的博客
10-29 3681
昨天还是好的，今天突然虚拟机中相互ping不通了 检查服务查看vm停止了 开启后就好了 现在连接工具可以连接上，然后也可以ping通了
Linux配置squid服务(代理实现解析DNC（国赛Linux服务器）)
snhming的博客
08-31 1089
两台centos7.9，一台统信uossquid服务器，命名为Rserver配置3个网卡IP：192.168.10.2/28，接入Server03和Server04的网络，该网络命名为internetIP：172.16.100.254/25，接入网络serviceIP：10.10.100.254/24，接入网络office两台DNS服务器 ： Server01、Server04。...
大数据1.1-安装配置CentOS
m0_62492032的博客
09-21 651
CentOS
Linux/CentOS服务器安全配置通用指南
09-15
一般来说，对 Linux 系统的安全设定包括取消不必要的服务、限制远程存取、隐藏重要资料、修补安全漏洞、采用安全工具以及经常性的安全检查等,本文为大家分享Linux/CentOS服务器安全配置的通用方案
Linux-centos虚拟机集群配置
01-07
可以安装多台虚拟机，组成一个小型局域网，例如：搭建 hadoop 集群、分布式服务。 配置 1.VMnet8 设置静态 IP 2.Centos 网络设配器为 NAT 模式 3. VMware 虚拟网络设置 创建虚拟机 1.复制 将centos6.9-clean-...
虚拟机克隆linux centos6.5系统网卡配置图文教程
09-15
主要为大家详细介绍了虚拟机克隆linux centos6.5系统网卡配置的图文教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
64位CentOS6.67.1配置Hadoop-2.6.0集群
07-23
资源名称：64位 CentOS6.6 7.1 配置Hadoop-2.6.0集群资源截图： 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
Linux（CentOS）上配置 SFTP服务器
09-15
本篇文章主要介绍了Linux（CentOS）上配置 SFTP服务器。相比传统的 ftp 服务，SFTP 显得更加方便、安全，有兴趣的朋友可以了解一下。
搭建大数据服务器对硬件配置有哪些要求.docx
02-18
大数据就是这个高科技时代的产物，通过大数据分析可以帮助企业做出更明智的决策。例如，企业通过大数据分析，可以进行精准营销、及时解析故障、问题和缺陷的根源、或者使用点击流分析和数据挖掘来规避欺诈行为等。
集群搭建(一) VMware及安装Centos7
张时贰的博客
06-09 380
官网下载对应安装包VMware官网看不懂参考：VMware官网下载说明以管理员安装，注意安装路径不要包含中文，不勾选 “增强型键盘驱动程序” ，无脑下一步，激活码CSDN随便搜很多，打开VMware，确认外部连接NAT模式，子网IP和掩码记住菜单栏->文件->新建虚拟机->自定义下一步->在安装虚拟机同时把CentOS系统配好为虚拟机命名->拟机的安装位置->处理器配置看个人情况虚拟机内存自定义->网络类型NAT连着三步默认磁盘大小默认->磁盘文件改一下(默认C)可以检查一下自定义硬件配置，点击完成开始安装
大数据集群搭建基本配置说明
科多大数据的博客
05-25 3088
大数据发展愈演愈烈，为了快速跟上技术发展的步伐，最近在学习大数据的相关技术，当然第一步，还是要学习大数据集群的搭建，将自己的一些小经验分享给大家，希望对你们有帮助，当然也感谢在我学习的过程，提供资料和帮助的科多大数据的余老师，话不多说，先上图伪分布：只有一台主要用搭建伪分布式准备三台，用于集群搭建快照克隆克隆出来的主机，它们的主机名、ip、MAC地址都是一样的。所以要进行一些基本配置。修改主机名、...
2，centos6.9 安装( 三台虚拟机，复制，克隆 )
孙砚秋的博客
05-27 933
目的 ：快速创建虚拟机，节省时间。 1 ，修改 vmware 的网段 ： 为什么要修改网段，因为后面会有很多不同的老师，不同的老师，用的虚拟机的网段，可能不同，所以我们需要会自己修改网段，让自己的电脑可以跟老师的一致。 我们现在的子网 IP 是 ： 192.168.72.0 所以，我们的这个 vmware 中的所有虚拟机的 IP 地址的前三位都是 192.168.72 据我所知：我们同学手中的虚...
大数据各集群配置详情
Yubingx的博客
10-17 631
大数据各集群框架的配置详情 Hadoop完全集群配置 分析： ​ 1）准备3台客户机（关闭防火墙、静态ip、主机名称） ​ 2）安装JDK ​ 3）配置环境变量 ​ 4）安装Hadoop ​ 5）配置环境变量 ​ 6）配置集群 ​ 7）单点启动 ​ 8）配置ssh ​ 9）群起并测试集群 编写分发脚本 rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。 #!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出 i
VMware 用WinSCP传文件到虚拟机
大数据流浪法师的学习笔记与分享
10-10 4486
WinSCP是一个Windows环境下使用SSH的开源图形化SFTP客户端。同时支持SCP协议。它的主要功能就是在本地与远程计算机间安全的复制文件。WinSCP也可以链接Linux系统。 简单的说，用它能给服务器，虚拟机传文件。 WinSCP官网下载：https://winscp.net/eng/download.php 首先打开WinSCP官网，下载WinSCP，然后安装它 对于初学者来说，...
CentOS 基础知识与命令总结
大数据流浪法师的学习笔记与分享
10-28 1743
目录含义 目录 含义 /bin 二进制命令所在的目录 /boot 系统引导程序所需要的文件目录，引导系统开机 /dev 设备软件目录，磁盘，光驱， /etc 系统配置，启动程序 /home 普通用户的家，目录默认数据存放目录 /lib 启动系统和运行命令所需的共享库文件和内核模块存放 /mnt 临时挂载储存设备的挂载点，u盘插入光驱无法使用，需要挂载然后使用...
CentOS6.9 AWK 命令回顾
大数据流浪法师的学习笔记与分享
07-30 931
今天用到了AWK命令发现快要忘光了，所以再练一遍，你跟着练也能学会。 awk有丰富的函数所以很方便，常用，强大。 这里只是简单的练习，完成之后差不多知道awk咋用了，有手感了就，了解更多内容请看这里 http://linux.51yip.com/search/awk awk命令常用参数 选项 英文 含义 -F ',' field-separator 使用 指定字符 分割 $ + 数字 获取第几段内容 $0 获取 当前行 内容 NF fiel
centos大数据集群搭建sqoop
最新发布
08-12
在CentOS大数据集群中搭建Sqoop的步骤如下： 1. 首先，在master节点上安装Sqoop。进入Sqoop安装包所在目录，执行以下命令解压安装包：<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [分布式大数据集群搭建](https://blog.csdn.net/qq_32425417/article/details/124367499)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值