既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
主机名改成hadoop106,点应用
IP:192.168.100.106,子网掩码:255.255.255.0,网关:192.168.100.2,DNS:192.168.100.2。
9.然后就点开始安装,在这个期间创建root密码123123,由于我们的密码不符合系统安全要求,所以需要点击两次完成。等进度条⾛完,就可以点重启了。此时CentOS7安装完成并启动,等待我们输⼊账户,密码。
此时可打开 mobaxterm 新建session 输⼊192.168.100.106 连接
- 安装 rsync yum -y install rsync
- 安装 nano yum -y install nano
- 安装 ntpd yum -y install ntp
- 关闭防⽕墙,集群⼀般搭建在局域⽹内,公司在外部建⽴专业的防⽕墙,为了⽅便集群之间通信,请关闭集群中各节点的防⽕墙。
·在root⽤户下直接关闭防⽕墙 systemctl stop firewalld.service
· 禁⽌firewall开机启动 systemctl disable firewalld.service
· 关闭SELinux命令(永久关闭) nano /etc/selinux/config 注释掉下面两行:
#SELINUX=enforcing
SELINUX=disabled
#SELINUXTYPE=targeted
重启
- 查看防⽕墙状态 systemctl status firewalld
- 在/opt ⽬录下创建 module(程序⽂件夹)、software(安装包) ⽂件夹
[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software
2**.**在Hadoop106节点安装JDK、Hadoop
·安装JDK
-
将jdk-8u341-linux-x64.tar.gz 利⽤xftp上传到/opt/software
-
解压jdk到/opt/module⽂件夹
[root@hadoop100 ~]# tar -zxvf /opt/software/jdk-8u341-linux-x64.tar.gz -C /opt/module/
- nano /etc/profile.d/my_path.sh ⽂件,输⼊
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_341
export PATH=$PATH:$JAVA_HOME/bin
- source ⼀下 /etc/profile ⽂件,让新的环境变量 PATH ⽣效
[root@hadoop100 ~]# source /etc/profile
- 检验⼀下成功不
[root@hadoop100 ~]# java -version
·安装Hadoop
-
将hadoop-3.3.3.tar.gz利⽤xftp上传到/opt/software
-
解压hadoop到/opt/module⽂件夹
[root@hadoop100 ~]# tar -zxvf /opt/software/hadoop-3.3.3.tar.gz -C /opt/module/
- 在 /etc/profile.d/my_path.sh ⽂件,加⼊下⾯内容
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
- source ⼀下 /etc/profile ⽂件,让新的环境变量 PATH ⽣效
[root@hadoop100 ~]# source /etc/profile
- 测试
[root@hadoop100 ~]# hadoop version
·新增ens37网卡
-
关闭 hadoop106
-
右击虚拟机选项卡 -> 配置 -> 添加 -> ⽹络适配器 -> 改成桥接
-
启动 hadoop106
-
nmcli connection add type ethernet con-name ens37 ifname ens37 autoconnect yes
-
nano /etc/sysconfig/network-scripts/ifcfg-ens37
-
更改 ifcfg-ens37 ⽂件
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens37
UUID=59021522-3de9-492b-9308-b6ab7596aceb
DEVICE=ens37
ONBOOT=yes
IPADDR=10.227.x.1y6
NETMASK=255.255.254.0
注:
x:班级号,7班是2或8班是3
y:组号,1-10
service network start
·Hadoop101配置
-
打开 hadoop101完全分布式新增hadoop106节点.md 2023-12-18
-
nano /etc/hosts 加⼊
10.227.x.1y6 hadoop106
注:x:班级号,7班是2或8班是3;y:组号,1-10
-
nano $HADOOP_HOME/etc/hadoop/workers 加⼊ hadoop106
-
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop106
-
rsync -av
$HADOOP_HOME/etc/hadoop root@hadoop106:/opt/module/hadoop-3.3.3/etc/
-
rsync -av /etc/hosts root@hadoop106:/etc
-
远程到 hadoop106 ssh hadoop106
-
nano /opt/module/hadoop-3.3.3/etc/hadoop/hadoop-env.sh 修改 JAVA_HOME export
JAVA_HOME=/opt/module/jdk1.8.0_341
3**.**启动集群
- jpsall.sh 中加⼊ hadoop106 nano ~/bin/jpsall.sh
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
033741)]
[外链图片转存中…(img-IsBjkeTu-1715674033741)]
[外链图片转存中…(img-28aDjxEA-1715674033741)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新