Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7(1)

最新推荐文章于 2024-07-19 17:35:15 发布

2401_84140580

最新推荐文章于 2024-07-19 17:35:15 发布

阅读量727

点赞数 11

分类专栏： 2024年程序员学习文章标签：运维 linux 面试

本文链接：https://blog.csdn.net/2401_84140580/article/details/138887615

版权

2024年程序员学习专栏收录该内容

67 篇文章 0 订阅

订阅专栏

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:BtWqdvRxf90QPhg5p2OOIBwgEGTu4lxAd92icFc5cwE root@tcloud
The key’s randomart image is:
±–[RSA 2048]----+
|+*…o. +Eo… |
|+ .o…= =…+ o |
| o o.+…+ B . |
|. . .o.+ . * + |
|… . +So * o oo|
|+ . o… o . . +|
| o . . . |
| |
| |
±—[SHA256]-----+


#### 2.3 授权


进入 /root/.ssh/ 目录下，查看生成的公匙和私匙，并将公匙写入到授权文件：

[root@tcloud .ssh]# ll
total 16
-rw------- 1 root root 786 Jul 6 11:57 authorized_keys
-rw-r–r-- 1 root root 0 Jul 5 11:06 config
-rw-r–r-- 1 root root 0 Jul 5 11:06 iddummy.pub
-rw------- 1 root root 1679 Jul 27 17:42 id_rsa
-rw-r–r-- 1 root root 393 Jul 27 17:42 id_rsa.pub
-rw-r–r-- 1 root root 1131 Jul 6 13:31 known_hosts

写入公匙到授权文件

[root@tcloud .ssh]# cat id_rsa.pub >> authorized_keys
[root@tcloud .ssh]# chmod 600 authorized_keys


### 3.HDFS环境搭建


#### 3.1 解压

解压安装包并移动到/usr/local/下

tar -zxvf hadoop-3.1.3.tar.gz
mv ./hadoop-3.1.3 /usr/local/


#### 3.2 配置环境变量


配置环境变量的方法比较多，这里统一将环境变量放在 /etc/profile.d/my\_env.sh 内。

配置环境变量：

vim /etc/profile.d/my_env.sh

添加 Hadoop的PATH要配置上bin和sbin

export HADOOP_HOME=/usr/local/hadoop-3.1.3
export PATH= $P A T H :$ HADOOP_HOME/bin
export PATH= $P A T H :$ HADOOP_HOME/sbin

使得配置的环境变量立即生效：

# 首先是要赋权限【只操作一次就行】
chmod +x /etc/profile.d/my_env.sh

source /etc/profile.d/my_env.sh


#### 3.3 修改Hadoop配置


进入 ${HADOOP\_HOME}/etc/hadoop/ 目录下，修改以下配置：


1. hadoop-env.sh 【JDK安装路径配置】

查询jdk路径

[root@tcloud ~]# echo $JAVA_HOME
/usr/local/java

[root@tcloud ~]# vim /usr/local/hadoop-3.1.3/etc/hadoop/hadoop-env.sh

添加jdk路径

export JAVA_HOME=/usr/local/java


2. core-site.xml

[root@tcloud ~]# vim /usr/local/hadoop-3.1.3/etc/hadoop/core-site.xml

fs.defaultFS hdfs://tcloud:8020 hadoop.tmp.dir /home/hadoop/tmp hadoop.http.staticuser.user root hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups * dfs.permissions.enabled false


3. hdfs-site.xml

[root@tcloud ~]# vim /usr/local/hadoop-3.1.3/etc/hadoop/hdfs-site.xml

dfs.replication 1 dfs.webhdfs.enabled true dfs.namenode.http-address tcloud:9870 dfs.namenode.secondary.http-address tcloud:9868 dfs.namenode.name.dir file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2 dfs.datanode.data.dir file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2


4. slaves 特别注意：hadoop3.0 以后 slaves 变为 workers。

[root@tcloud ~]# vim /usr/local/hadoop-3.1.3/etc/hadoop/workers

配置所有从属节点的主机名或 IP 地址，由于是单机版本，所以指定本机即可【原文件配置的是localhost】：

tcloud


#### 3.4 关闭防火墙


不关闭防火墙可能导致无法访问 Hadoop 的 Web UI 界面【使用云服务器还需要在安全组内开启端口】：

查看防火墙状态

[root@tcloud hadoop]# firewall-cmd --state
not running

如果是开启状态，关闭防火墙:

[root@tcloud hadoop]# systemctl stop firewalld.service


#### 3.5 初始化


第一次启动 Hadoop 时需要进行初始化，进入 ${HADOOP\_HOME}/bin/ 目录下，执行以下命令：

[root@tcloud bin]# ./hdfs namenode -format


#### 3.6 修改启动和停止shell脚本

[root@tcloud hadoop]# vim /usr/local/hadoop-3.1.3/sbin/start-dfs.sh
[root@tcloud hadoop]# vim /usr/local/hadoop-3.1.3/sbin/stop-dfs.sh


start-dfs.sh，stop-dfs.sh 这两个文件顶部添加以下参数：

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root


#### 3.7 启动HDFS


**先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前在阿里**

**深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年最新Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/46d493575b7c7047a5744e78fd67fda1.png)
![img](https://img-blog.csdnimg.cn/img_convert/200210d3137179424196e95a97d1a5f2.png)
![img](https://img-blog.csdnimg.cn/img_convert/57fc3364516ef6fd87604c0c5835df53.png)
![img](https://img-blog.csdnimg.cn/img_convert/5a1adee5899eac752aa67953d5bf0248.png)
![img](https://img-blog.csdnimg.cn/img_convert/b1ab98b0ebe1e35c0a5a628b82b2f9b0.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上运维知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618635766)**

1715728776689)]
[外链图片转存中...(img-rWk9uMBq-1715728776689)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上运维知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618635766)**