网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
- 安装分发工具
yum install rsync -y
- 编写集群分发脚本
mkdir ~/bin && vim ~/bin/xsync
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
#这里的主机名是hadoop101~hadoop103,要根据情况修改代码
for i in hadoop102 hadoop103 hadoop104
do
echo ------------------- $i --------------
rsync -rvl $pdir/$fname $user@$i:$pdir
done
- 给脚本赋权
chmod +x ~/bin/xsync
- 关机
init 0
- 右键,克隆虚拟机
点击完成,克隆成功
再按照以上步骤克隆一台虚拟机,名称为hadoop104
完成后如下图
-
配置克隆的网络文件
- 开启hadoop103,切换至root用户
su - root
密码是root
- 编辑网络配置文件
vim /etc/sysconfig/network-scripts/ifcfg-ens33
保存退出
- 重启
reboot
- 开启hadoop104
- 切换至root用户
su - root
- 编辑网络配置文件
vim /etc/sysconfig/network-scripts/ifcfg-ens33
保存退出
- 重启hadoop104
reboot
-
启动hadoop102
确保3台节点启动成功
-
打开xshell,新建两个会话
- hadoop103会话
点击确定
- hadoop104会话
点击确定
- 连接
选中3个会话,点击连接
弹出如下提示,输入yes即可
搭建hadoop3.x完全分布式集群
集群规划
hadoop102 | hadoop103 | hadoop104 |
---|---|---|
namenode | resourcemanager | datanode |
datanode | datanode | nodemanager |
nodemanager | nodemanager | secondarynamenode |
-
配置host映射
- 点击hadoop102选项卡
- 编辑hosts文件
vim /etc/hosts
192.168.138.102 hadoop102 192.168.138.103 hadoop103 192.168.138.104 hadoop104
保存退出
-
配置集群ssh
- hadoop102配置ssh无密登录
ssh-keygen -t rsa
一直回车即可
ssh-copy-id hadoop102
输入yes,提示输入密码的地方输入root,这里也是没有回显的!!
如上操作再将公钥复制到hadoop103、hadoop104
ssh-copy-id hadoop103
ssh-copy-id hadoop104
- 分发hosts
xsync /etc/hosts
- hadoop103配置ssh无密登录
点击hadoop103选项卡
生成公钥
ssh-keygen -t rsa
如hadoop102的操作,将公钥复制到其他节点
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
- hadoop104配置ssh无密登录
选择hadoop104选项卡
生成公钥
ssh-keygen -t rsa
复制公钥到其他节点
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
-
上传hadoop安装包
- 回到hadoop102选项卡
创建目录
mkdir /opt/software && cd /opt/software
- 上传安装包
开启xftp
将下载好的hadoop和jdk移动到右边
回到xshell
- 创建目录并解压
mkdir /opt/module
tar -zxvf /opt/software/hadoop-3.1.3.tar.gz -C /opt/module/
tar -zxvf /opt/software/jdk-8u401-linux-x64.tar.gz -C /opt/module/
- 改名
mv /opt/module/jdk1.8.0_401/ /opt/module/jdk
-
添加JAVA_HOME
- 添加java环境变量
vim /etc/profile
#JAVA\_HOME export JAVA\_HOME=/opt/module/jdk export PATH=$PATH:$JAVA\_HOME/bin
-
添加HADOOP_HOME
- 添加hadoop环境变量
#HADOOP\_HOME export HADOOP\_HOME=/opt/module/hadoop export PATH=$PATH:$HADOOP\_HOME/bin export PATH=$PATH:$HADOOP\_HOME/sbin
保存退出
- 刷新环境变量
source /etc/profile
- 分发环境变量
xsync /etc/profile
-
修改配置文件
- 改名
mv /opt/module/hadoop-3.1.3/ /opt/module/hadoop
- core-site.xml
vim /opt/module/hadoop/etc/hadoop/core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop102:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop/data</value> </property> </configuration>
保存退出
- hdfs-site.xml
vim /opt/module/hadoop/etc/hadoop/hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.http-address</name> <value>hadoop102:9870</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop104:9868</value> </property> </configuration>
- yarn-site.xml
vim /opt/module/hadoop/etc/hadoop/yarn-site.xml
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop103</value> </property> </configuration>
- mapred-site.xml
vim /opt/module/hadoop/etc/hadoop/mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name>
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
rty>
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
[外链图片转存中…(img-DR0KjBzI-1715660253085)]
[外链图片转存中…(img-RDy2YbXV-1715660253086)]
[外链图片转存中…(img-7OUwwyg3-1715660253086)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新