搭建简易的hadoop集群(完全分布式)(1)，Linux运维工作经验6年

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上运维知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注运维）

正文

reboot

• 重启后打开终端，切换到root用户

su - root

• 配置网络文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

注意，网卡的名字不同，配置文件也不同！

保存退出

• 设置root密码

passwd root

设置密码为root

• 重启虚拟机

reboot

• 打开xshell，连接虚拟机

• 安装分发工具

yum install rsync -y

• 编写集群分发脚本

mkdir ~/bin && vim ~/bin/xsync

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
#这里的主机名是hadoop101~hadoop103，要根据情况修改代码
for i in hadoop102 hadoop103 hadoop104
do
        echo ------------------- $i  --------------
        rsync -rvl $pdir/$fname $user@$i:$pdir
done

• 给脚本赋权

chmod +x ~/bin/xsync

• 关机

init 0

• 右键，克隆虚拟机

点击完成，克隆成功

再按照以上步骤克隆一台虚拟机，名称为hadoop104

完成后如下图

• 配置克隆的网络文件

  • 开启hadoop103，切换至root用户

  su - root
  
  

  密码是root

  • 编辑网络配置文件

  vim /etc/sysconfig/network-scripts/ifcfg-ens33
  
  

  

  保存退出

  • 重启

  reboot
  
  

  • 开启hadoop104
  • 切换至root用户

  su - root
  
  

  • 编辑网络配置文件

  vim /etc/sysconfig/network-scripts/ifcfg-ens33
  
  

  

  保存退出

  • 重启hadoop104

  reboot
  
  

• 启动hadoop102

确保3台节点启动成功

• 打开xshell，新建两个会话

  • hadoop103会话

  

  

  

  

  点击确定

  • hadoop104会话

  

  

  

  

  点击确定

  • 连接

  选中3个会话，点击连接

  

  弹出如下提示，输入yes即可

  

搭建hadoop3.x完全分布式集群

集群规划

hadoop102	hadoop103	hadoop104
namenode	resourcemanager	datanode
datanode	datanode	nodemanager
nodemanager	nodemanager	secondarynamenode

• 配置host映射

  • 点击hadoop102选项卡

  

  • 编辑hosts文件

  vim /etc/hosts
  
  

  192.168.138.102 hadoop102
  192.168.138.103 hadoop103
  192.168.138.104 hadoop104
  
  

  

  保存退出

• 配置集群ssh

  • hadoop102配置ssh无密登录

  ssh-keygen -t rsa
  
  

  一直回车即可

  

  ssh-copy-id hadoop102
  
  

  输入yes，提示输入密码的地方输入root，这里也是没有回显的！！

  

  如上操作再将公钥复制到hadoop103、hadoop104

  ssh-copy-id hadoop103
  
  

  ssh-copy-id hadoop104
  
  

  • 分发hosts

  xsync /etc/hosts
  
  

  • hadoop103配置ssh无密登录

  点击hadoop103选项卡

  

  生成公钥

  ssh-keygen -t rsa
  
  

  

  如hadoop102的操作，将公钥复制到其他节点

  ssh-copy-id hadoop102
  
  

  ssh-copy-id hadoop103
  
  

  ssh-copy-id hadoop104
  
  

  • hadoop104配置ssh无密登录

  选择hadoop104选项卡

  

  生成公钥

  ssh-keygen -t rsa
  
  

  复制公钥到其他节点

  ssh-copy-id hadoop102
  
  

  ssh-copy-id hadoop103
  
  

  ssh-copy-id hadoop104
  
  

• 上传hadoop安装包

  • 回到hadoop102选项卡

  创建目录

  mkdir /opt/software && cd /opt/software
  
  

  • 上传安装包

  开启xftp

  

  将下载好的hadoop和jdk移动到右边

  

  回到xshell

  • 创建目录并解压

  mkdir /opt/module
  
  

  tar -zxvf /opt/software/hadoop-3.1.3.tar.gz -C /opt/module/
  
  

  tar -zxvf /opt/software/jdk-8u401-linux-x64.tar.gz -C /opt/module/
  
  

  • 改名

  mv /opt/module/jdk1.8.0_401/ /opt/module/jdk
  
  

• 添加JAVA_HOME

  • 添加java环境变量

  vim /etc/profile
  
  

  #JAVA\_HOME
  export JAVA\_HOME=/opt/module/jdk
  export PATH=$PATH:$JAVA\_HOME/bin
  
  

• 添加HADOOP_HOME

  • 添加hadoop环境变量

  #HADOOP\_HOME
  export HADOOP\_HOME=/opt/module/hadoop
  export PATH=$PATH:$HADOOP\_HOME/bin
  export PATH=$PATH:$HADOOP\_HOME/sbin
  
  

  

  保存退出

  • 刷新环境变量

  source /etc/profile
  
  

  • 分发环境变量

  xsync /etc/profile
  
  

• 修改配置文件

  • 改名

  mv /opt/module/hadoop-3.1.3/ /opt/module/hadoop
  
  

  • core-site.xml

  vim /opt/module/hadoop/etc/hadoop/core-site.xml
  
  

  <configuration>
          <property>
                  <name>fs.defaultFS</name>
                  <value>hdfs://hadoop102:8020</value>
          </property>
          <property>
                  <name>hadoop.tmp.dir</name>
                  <value>/opt/module/hadoop/data</value>
          </property>
  </configuration>
  
  

  

  保存退出

  • hdfs-site.xml

  vim /opt/module/hadoop/etc/hadoop/hdfs-site.xml
  
  

  <configuration>
          <property>
                  <name>dfs.replication</name>
                  <value>3</value>
          </property>
          <property>
                  <name>dfs.namenode.http-address</name>
                  <value>hadoop102:9870</value>
          </property>
          <property>
                  <name>dfs.namenode.secondary.http-address</name>
  
  
  

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注运维）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
3


dfs.namenode.http-address
hadoop102:9870


dfs.namenode.secondary.http-address

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注运维）
[外链图片转存中…(img-PJWHojGA-1713248495439)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！