Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

使得配置的环境变量立即生效：

# 首先是要赋权限【只操作一次就行】
chmod +x /etc/profile.d/my_env.sh

source /etc/profile.d/my_env.sh

#### 3.3 修改Hadoop配置


进入 ${HADOOP\_HOME}/etc/hadoop/ 目录下，修改以下配置：


1. hadoop-env.sh 【JDK安装路径配置】

查询jdk路径

[root@tcloud ~]# echo $JAVA_HOME
/usr/local/java

[root@tcloud ~]# vim /usr/local/hadoop-3.1.3/etc/hadoop/hadoop-env.sh

添加jdk路径

export JAVA_HOME=/usr/local/java

2. core-site.xml

[root@tcloud ~]# vim /usr/local/hadoop-3.1.3/etc/hadoop/core-site.xml

fs.defaultFS hdfs://tcloud:8020 hadoop.tmp.dir /home/hadoop/tmp hadoop.http.staticuser.user root hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups * dfs.permissions.enabled false

3. hdfs-site.xml

[root@tcloud ~]# vim /usr/local/hadoop-3.1.3/etc/hadoop/hdfs-site.xml

dfs.replication 1 dfs.webhdfs.enabled true dfs.namenode.http-address tcloud:9870 dfs.namenode.secondary.http-address tcloud:9868 dfs.namenode.name.dir file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2 dfs.datanode.data.dir file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2

4. slaves 特别注意：hadoop3.0 以后 slaves 变为 workers。

[root@tcloud ~]# vim /usr/local/hadoop-3.1.3/etc/hadoop/workers

配置所有从属节点的主机名或 IP 地址，由于是单机版本，所以指定本机即可【原文件配置的是localhost】：

tcloud

#### 3.4 关闭防火墙


不关闭防火墙可能导致无法访问 Hadoop 的 Web UI 界面【使用云服务器还需要在安全组内开启端口】：

查看防火墙状态

[root@tcloud hadoop]# firewall-cmd --state
not running

如果是开启状态，关闭防火墙:

[root@tcloud hadoop]# systemctl stop firewalld.service

#### 3.5 初始化


第一次启动 Hadoop 时需要进行初始化，进入 ${HADOOP\_HOME}/bin/ 目录下，执行以下命令：

[root@tcloud bin]# ./hdfs namenode -format

#### 3.6 修改启动和停止shell脚本

[root@tcloud hadoop]# vim /usr/local/hadoop-3.1.3/sbin/start-dfs.sh
[root@tcloud hadoop]# vim /usr/local/hadoop-3.1.3/sbin/stop-dfs.sh

start-dfs.sh，stop-dfs.sh 这两个文件顶部添加以下参数：

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

#### 3.7 启动HDFS


进入 ${HADOOP\_HOME}/sbin/ 目录下，启动 HDFS：

[root@tcloud sbin]# ./start-dfs.sh

#### 3.8 验证是否启动成功


方式一：执行 jps 查看 NameNode、SecondaryNameNode 和 DataNode 服务是否已经启动：

[root@tcloud ~]# jps
27346 DataNode
27603 SecondaryNameNode
29398 Jps
27198 NameNode

方式二：查看 Web UI 界面  
 根据配置的地址进行访问：

<property>
    <name>dfs.namenode.http-address</name>

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-wPIjzgxy-1713288985122)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！