Hadoop集群搭建系列教程（一）—— 配置

Q3_SkyAsh

已于 2024-09-03 10:43:04 修改

阅读量1k

点赞数 27

文章标签： hadoop

于 2024-09-02 17:51:25 首次发布

本文链接：https://blog.csdn.net/wyp106343873/article/details/141825759

版权

个人博客SkyAsh的小窝

开这个系列其实是为了复习，因为之前是照着别人的教程装的，手中的笔记也都是直接复制别人的

这一次我要把笔记都变成自己的，图片都换成自己的

软件配置

Linux：CentOS-7-x86_64-Everything-1810 官网传送门阿里云传送门

（Everything版会比较大，标准便其实就足够，但我有火力不足恐惧症）

Hadoop：hadoop-3.3.1.tar.gz 阿帕奇传送门

eclipse插件：hadoop-eclipse-plugin-3.3.1.jar 百度网盘传送门

节点：三个

注意：一定要创建一个普通用户，操作都用普通用户进行操作，不然后期很容易出现权限相关的问题

注意奥，一定注意奥，CentOS和Hadoop一定要适配，不然后面有你受的

别问我咋知道的

虚拟机配置

按照下面的步骤来配置即可

这个地方留着我们后面装ISO镜像

这里可以跟着我的这样来命名虚拟机，后期配置会比较方便，同时因为要设置静态IP，这样也会很方便（原因看到后面就知道了）

这里按照电脑配置来就行，不需要很高

这是孩子的电脑配置（我后面自己装的内存条）

内存其实也不需要很大（火力不足恐惧症）

这里网络一定要NAT！！一定要NAT！！一定要NAT！！

重要的事情说三遍，有点害怕火力不足，我在给加个粗

后面三个设置项直接选择默认选项就行（连点三下下一步）

（反正看不懂，推荐的就是最稳的）

磁盘大小也是看配置（或者看心情）

至于磁盘是多个还是单个，看心情

然后下一个还是默认就行

然后这里看图操作

然后选择你的刚刚下载的CentOS的ISO镜像，再关掉这个窗口即可，它会自动保存的

然后点击完成即可

CentOS配置

开启虚拟机后

选择第一个：安装CentOS 7

选择中文之简体中文

下面这个界面很关键，是系统的基本配置

来看这个

新手哥哥姐姐根据我选的来就行，至于老手嘛，谁老手看我这个菜鸡写的教程啊

安装位置选择自动分区就行、

手动分区的话按照下面得来

如果你是新手记住：除了SWAP分区外，其他分区的文件系统一律选择ext4类型,设备类型默认选LVM

下面是各种分区的用处

boot分区：
作用：引导分区，包含了系统启动的必要内核文件，即使根分区顺坏也能正常引导启动一般这些文件所占空间在200M以下，
分区建议：分区的时候可选100M-500M之间,如果空间足够用，建议分300-500M。避免由于长期使用的冗余文件塞满这个分区。
分区格式：建议ext4，按需求更改
/分区（根分区）：
作用：所有的文件都从这里开始，你可以比喻为Windows的C盘，但其实有区别。如果你有大量的数据在根目录下（比如FTP等）可以划分大一点的空间
分区建议：建议15G以上。看需求，根分区和home分区的大小就类似C盘和D盘的空间分布一样，主要占空间在哪儿就在那里分大容量
分区格式：建议ext4，按需求更改
swap分区：
作用：类似于Windows的虚拟内存，在内存不够用时占用硬盘的虚拟内存来进行临时数据的存放，而对于linux就是swap分区
分区建议：建议是物理内存大小的2倍，比如你电脑是4G的物理内存，swap分区可以是8G
分区格式：swap格式

这里选择完之后会卡很久很久，本地介质需要检查依赖要很久，页面也无法操作，耐心等待即可

然后是用户的配置，我就直接简单配置了，这里也是看心情

我的用户直接就是hadoop

密码直接123456（密码太简单的话需要点两遍确定）

然后重启完成安装

开启之后然后点击右上角，会显示有线连接已关闭，把这个点开连接上

然后右键桌面，打开终端，或者界面上面就有个终端，反正点开就完事

网络配置

VMware虚拟网络设置

按照下面的点，先点编辑，然后点开虚拟网络编辑器

（注意注意注意，如果你有自己的C段的话，大可不必按照我的修改，按照自己的C段就可以了）

然后这里点击更改设置

然后修改子网为192.168.159.0

然后点击NAT设置

把网关IP改成192.168.159.2

Window网络配置

Windows的网络设置按照图中的顺序找，不同系统的请自行百度

按照图示修改

默认网关 192.168.159.2
首选DNS 192.168.159.2
备用DNS 8.8.8.8

CentOS静态网络配置

修改为静态IP的原因：防止每次重启虚拟机IP发生变化，因为是集群，三台服务器之间需要确定IP才能进行互相连通才能访问

所以直接配置为静态IP

注意奥，网络配置需要root权限才能修改

su root

需要修改的是ens33的网络，按照下面的命令修改配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

进入到下面的界面之后，按i键编辑

如图所示修改然后保存（vim保存修改的命令是先按Esc然后按shift+;然后输入wq然后Enter回车）

Linux的网卡参数详解（拓展知识）


TYPE=Ethernet                      # 网卡类型：为以太网
PROXY_METHOD=none                 # 代理方式：关闭状态
BROWSER_ONLY=no                   # 只是浏览器：否
BOOTPROTO=dhcp                    # 网卡协议 DHCP 动态主机配置协议
DEFROUTE=yes                    # 默认路由：是
IPV4_FAILURE_FATAL=no               # 是否开启IPV4致命错误检测：否
PV6INIT=yes                      # IPV6是否自动初始化: 是
IPV6_AUTOCONF=“yes”                # IPV6是否自动配置：是
IPV6_ADDR_GEN_MODE=stable-privacy        # IPV6地址生成模型
                           stable-privacy是一种生成IPV6的策略
NAME=ens33                      # 网卡名字（与DEVICE一致）
UUID=6ac17c2b-473e-4894-811b-4940ee7bf455     # 唯一标识码
DEVICE=ens33                      # 网卡设备
ONBOOT=yes                        # 是否激活网卡
IPADDR=192.168.10.100                 # ip地址（static设置）
NETMASK=255.255.255.0                # 子网掩码
GATEWAY=192.168.10.2                  # 网关
DNS1=8.8.8.8                       # DNS地址解析