hadoop-3(1)，一文全懂

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

1.首先需要三台虚拟机：
master
、
node1
、
node2

2.时间同步

ntpdate ntp.aliyun.com

3.调整时区

cp /usr/share/zoneinfo/Asia/Shanghai

/etc/localtime

4.jdk1.8

java -version

5.修改主机名

三台分别执行
vim /etc/hostname 并将内容指定为对应的主机名

6.关闭防火墙：
systemctl stop firewalld

名
查看防火墙状态：
systemctl status firewalld

取消防火墙自启：
systemctl disable firewalld

7.静态IP
配置

直接使用图形化界面配置（不推荐）

手动编辑配置文件进行配置

(1)编辑网络配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet

BOOTPROTO=static

HWADDR=00:0C:29:E2:B8:F2

NAME=ens33

DEVICE=ens33

ONBOOT=yes

IPADDR=192.168.190.100

GATEWAY=192.168.190.2

NETMASK=255.255.255.0

DNS1=192.168.190.2

DNS2=223.6.6.6

需要修改：
HWADDR
（
mac
地址
,centos7
不需要手动指定
mac
地

址）

IPADDR
（根据自己的网段，自定义
IP
地址）

GATEWAY
（根据自己的网段填写对应的网关地址）

(2)关闭
NetworkManager
，并取消开机自启

systemctl stop NetworkManager

systemctl disable NetworkManager

systemctl status NetworkManager

(3)重启网络服务

systemctl restart network

8.免密登录

(1)生成密钥

ssh-keygen -t rsa

(2)配置免密登录

ssh-copy-id master

ssh-copy-id node1

ssh-copy-id node2

(3)测试免密登录

ssh node1

9.配置好映射文件：
/etc/hosts

192.168.19.100 master

192.168.19.110 node1

192.168.19.120 node2

二、搭建Hadoop集群

在搭建之前，我们需要了解非高可用集群的分布情况：

去官网或者华为云镜像下载解压包

华为云镜像：https://mirrors.huaweicloud.com/apache/hadoop/common/hadoop-3.1.1/

(一)上传解压配置环境变量

1、解压

tar -xvf hadoop-3.1.1.tar.gz.gz

include文件夹存放一些第三方的东西，lib存放jar包

2、配置环境变量

vim /etc/profile

#增加配置

export HADOOP_HOME=/usr/local/soft/hadoop-3.1.1
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

4.使环境变量生效

source /etc/profile

(二)修改配置文件

1、进入hadoop配置文件所在位置，修改hadoop配置文件 cd /usr/local/soft/hadoop-3.1.1/etc/hadoop

2、修改core-site.xml配置文件,在configuration中间增加配置

vim core-site.xml

增加配置

  fs.defaultFS   hdfs://master:9000   hadoop.tmp.dir   /usr/local/soft/hadoop-3.1.1/tmp   fs.trash.interval   1440

3、修改hdfs-site.xml配置文件，在configuration中间增加配置

vim hdfs-site.xml

增加配置

  dfs.replication   1   dfs.permissions   false

4、修改yarn-site.xml配置文件，在configuration中间增加配置

vim yarn-site.xml

增加配置

  yarn.resourcemanager.hostname   master   yarn.nodemanager.aux-services   mapreduce\_shuffle   yarn.log-aggregation-enable   true

5.vim mapred-site.xml

        mapreduce.framework.name
        yarn
   

 
        mapreduce.jobhistory.address  
        master:10020  
   

 
        mapreduce.jobhistory.webapp.address  
        master:19888

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

 
        mapreduce.jobhistory.webapp.address  
        master:19888

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-W5iFmHi1-1713707494497)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！