2024年HDFS安装模式之伪分布式集群_伪分布式集群hdfs，2024我的网络安全路要怎么走

给大家的福利

零基础入门

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

同时每个成长路线对应的板块都有配套的视频提供：

因篇幅有限，仅展示部分资料

网络安全面试题

绿盟护网行动

还有大家最喜欢的黑客技术

网络安全源码合集+工具包

所有资料共282G，朋友们如果有需要全套《网络安全入门+黑客进阶学习资源包》，可以扫描下方二维码领取（如遇扫码问题，可以在评论区留言领取哦）~

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

​
-2. 进入apps里，给两个软件更名
[root@master software]# cd /opt/apps/
[root@master apps]# mv jdk1.8.0_221/ jdk
[root@master apps]# mv hadoop-2.7.6/ hadoop
​
-3. 配置环境变量
[hadoop@master apps]# vi /etc/profile
​
…省略…
​
#java environment
export JAVA_HOME=/opt/apps/jdk
export PATH=$JAV{A}_{H}OME/bin:$JAVA_HOME/jre/bin:KaTeX parse error: Expected 'EOF', got '#' at position 8: PATH ​ #̲hadoop environm…HADOOP_HOME/bin:$HADOO{P}_{H}OME/sbin:$PATH

#### **4 伪分布式相关文件的配置**


4.1 core-site.xml的配置

[root@master ~]# cd $HADOOP_HOME/etc/haoop
[root@master hadoop]# vi core-site.xml
​



fs.defaultFS
hdfs://localhost/

扩展: hadoop1.x的默认端口是9000，hadoop2.x的默认端口是8020，使用哪一个都可以

4.2 hdfs-site.xml的配置：

[root@master hadoop]# vi hdfs-site.xml



dfs.replication
1

4.3 hadoop-env.sh的配置：指定jdk的环境

[root@master hadoop]# vi hadoop-env.sh
…

The java implementation to use.

export JAVA_HOME=/opt/apps/jdk
…

#### **5 格式化NameNode**


5.1 格式化命令

[root@master hadoop]# hdfs namenode -format

5.2 格式化的日志解读


![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWM0LnpoaW1nLmNvbS84MC92Mi1hN2QzZTdlMDRkZDFmZjg4YjliN2JlZWQ3NWIyYjBlYl83MjB3LmpwZw?x-oss-process=image/format,png)


#### **6 启动HDFS**


6.1 启动伪分布式

[root@master hadoop]# start-dfs.sh

6.2 启动滚动信息说明


![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWM0LnpoaW1nLmNvbS84MC92Mi03YTMwNzVkNjlmMTM1NDUyMTY5OGUwYzU0Y2QxN2NhZl83MjB3LmpwZw?x-oss-process=image/format,png)


6.3 **jps**命令查看守护进程


从上图我们可以看到，启动脚本会开启分布式文件系统上的相关进程：

namenode
datanode
secondary namenode

#### **7 WebUI\_50070**

可以在浏览器上输入：192.168.10.200:50070 来查看一下伪分布式集群的信息
–1. 浏览一下页面上提示的ClusterID,BlockPoolID
–2. 查看一下活跃节点(Live Nodes)的个数，应该是1个

#### **8 程序案例演示：wordcount程序**


8.1 准备要统计的两个文件,存储到~/data/下

–1. 创建data目录
[root@master hadoop]# mkdir ~/data
–2. 将以下两个文件上传到data目录下

• poetry1.txt
• poetry2.txt

8.2 在hdfs上创建存储目录

[root@master hadoop]# hdfs dfs -mkdir /input

8.3 将本地文件系统上的上传到hdfs上,并在web上查看一下

[root@master hadoop]$ hdfs dfs -put ~/data/poetry* /input/

![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWM0LnpoaW1nLmNvbS84MC92Mi1hMDcwYzIzMjQ0MzEzZWQyMjQ1OTY0ZDJlZjdkM2Q2Yl83MjB3LmpwZw?x-oss-process=image/format,png)


4.8.4 运行自带的单词统计程序wordcount

[root@master hadoop]# cd $HADOOP_HOME
[root@master hadoop]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount /input /out

效果如下：


![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWM0LnpoaW1nLmNvbS84MC92Mi03NzUxNjBjY2VlODYwMmU0MGVlNjJlOGQ0NTk4YWQ5Zl83MjB3LmpwZw?x-oss-process=image/format,png)




**先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7**

**深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年最新网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/ea4ca9529a543fa76e88b61f92e57a0c.png)
![img](https://img-blog.csdnimg.cn/img_convert/c6bab2b9536861008c0cb8279cd6ab76.png)
![img](https://img-blog.csdnimg.cn/img_convert/57946c23711d87f0c09cfdd3a641227e.png)
![img](https://img-blog.csdnimg.cn/img_convert/5efdc9997ebf23d2504d3a25f19fe450.png)
![img](https://img-blog.csdnimg.cn/img_convert/f62062827c212bc04e71ddb62ceb798f.png)
![img](https://img-blog.csdnimg.cn/img_convert/19c3c1f8a1047dcba5b4b3f069bdb022.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上网络安全知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

-1715341070975)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上网络安全知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**