HDFS基础篇（上）

已于 2022-03-19 18:36:17 修改
阅读量1.7k 收藏
点赞数 1
文章标签： hadoop 大数据 分布式 hdfs zookeeper
于 2022-03-19 12:37:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dafei_Rabbit/article/details/123591243
版权

目录

首先是HDFS的概述

特性

HDFS的架构

HDFS角色的功能

 NameNode                                                                                                        

 DataNode

Seconday NameNode

Client

HDFS的切片机制

 HDFS的副本机制

#博学谷IT学习技术支持#

当我们在生活中认知一种新事物的时候，应当从他的最底层或者最基本的地方入手，当然学习也是一样，不论我们学习什么东西，应当从最基本的地方入手，又或者当你迷茫无所入手的时候，不如静下心来，我们从最基本的开始。

首先是HDFS的概述

  • HDFS的全称：Hadoop的分布式文件系统
  • HDFS适合存储大量的数据，大文件
  • HDFS是一个高度容错性的系统，适合部署在廉价的机器上，形成一个完整的存储系统，并且还能对外提供统一的访问路径

特性

  • HDFS存储：在存储数据的时候会对文件进行切分，切分成多个block（每个block3个副本）

        watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBARGFmZWlfUmFiYml0,size_20,color_FFFFFF,t_70,g_se,x_16

  • HDFS读取：在读取文件的时候由于读取比较慢，时间长，而且还不能保证实时性，所以不适合做网盘。并且只适合存储大文件，因为每存储一个文件NameNode的内存就会记录一条元数据，如果存储的小文件过多会导致对应的元数据过多，会占用大量的NameNode内存。（NameNode会在下面HDFS架构中详细讲解）
  • HDFS特点：只支持追加写入不支持随机修改。换言之只要你经济实力雄厚，可以近乎无限扩展。

HDFS的架构

HDFS是主从架构，主节点是NameNode，从节点是DateNode

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBARGFmZWlfUmFiYml0,size_20,color_FFFFFF,t_70,g_se,x_16

HDFS的架构

HDFS角色的功能

 NameNode                                                                                                        

  •           它的存在就是保存整个HDFS集群的元数据                       watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBARGFmZWlfUmFiYml0,size_20,color_FFFFFF,t_70,g_se,x_16
    • NameNode需要知道每一个DataNode上block的信息
    •  客户端在上传或者下载文件的时候，需要从NAMENODE获取元数据信息，NameNode的元数据会自动保存在硬盘上（Secondary NameNode来实现的）

 DataNode

  • 保存具体的文件数据
  • 定时与NameNode之间发送心跳包
  • 定时向NameNode汇报Block的信息
  • 客户端要下载或者上传文件时，具体的文件操作是和DataNode进行交互

Seconday NameNode

  • 主要辅助NameNode进行元数据的管理(把元数据持久化存储和保存到硬盘)可以理解为秘书

Client

  • 负责文件的上传和下载
  • 上传文件的时候对文件进行切片

HDFS的切片机制

  •   Block只是一个逻辑单位，假如这个的Block的大小为128MB，那么通过切分后的Block的大小最大为128MB（128=134217728字节）

d1f1cb0b21fd452cb92226e664eda108.png

hdfs-site.xml中的dfs.blocksize参数来进行设置 

cd /export/server/hadoop-3.1.4/etc/hadoop/
ls
vim hdfs-site.xml

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBARGFmZWlfUmFiYml0,size_20,color_FFFFFF,t_70,g_se,x_16        watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBARGFmZWlfUmFiYml0,size_20,color_FFFFFF,t_70,g_se,x_16

         

 HDFS的副本机制

  • HDFS的每个BLOCK都会有多个副本，默认是3个

        e7bf491e963a4d68888dc1123b130729.png

通过hdfs-site.xml中的dfs.replication参数来进行设置

小结

        学完该阶段，说明你对HDFS分布式文件系统有了一些基础的认知

        能够明白HDFS的架构以及一些副本机制

Dafei_Rabbit
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python 零基础学习篇-04.HDFS集群搭建--服务器-网络配置准备.mp4
04-30
python 零基础学习篇-04.HDFS集群搭建--服务器-网络配置准备.mp4
HDFS基础篇（中）
Dafei_Rabbit的博客
03-19 1740
HDFS的读写流程
Hadoop HDFS篇
2301_77331760的博客
04-01 555
HDFS 基础
Hadoop基础知识——HDFS篇
jqttqj的博客
03-16 253
1.HDFS 1.1 原理及组成 NameNode：管理文件系统的namespace，这些信息以镜像文件（FsImage）和日志文件（EditLog）永久保存在磁盘上。文件与block的映射信息和块所在数据节点的信息保存在内存中，它不是永久保存的，系统重启时会消失。 DataNode： 负责存储client发来的数据块block；执行数据块的读写操作 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eEein5T0-1615882424223)(C:\Users\JiQT\Ap
详细介绍hdfs基础篇--Java API的方式来操作HDFS上的数据
QuartusII7的博客
06-30 264
打开IntelliJ IDEA 2018.2.2 x64 创建mvven工程 一 、向hdfs文件系统的写入文件 在pom.xml中添加Hadoop相关架包： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0</version> </dependency>
python 零基础学习篇-06.HDFS集群部署启动.mp4
04-30
python 零基础学习篇-06.HDFS集群部署启动.mp4
python 零基础学习篇-03.HDFS的整体工作机制介绍.mp4
04-30
python 零基础学习篇-03.HDFS的整体工作机制介绍.mp4
HDFS常用Shell命令.md
08-07
HDFS常用Shell命令，基础篇
python 零基础学习篇-08.HDFS的命令行户端常用命令演示.mp4
04-30
python 零基础学习篇-08.HDFS的命令行户端常用命令演示.mp4
Hadoop 3.4.0+HBase2.5.8+ZooKeeper3.8.4+Hive4.0+Sqoop 分布式高可用集群部署安装 大数据系列二
tonyhi6的博客
05-14 1190
Hadoop3.4.0+HBase2.5.8+ZooKeeper3.8.4+Hive4.0+Sqoop 分布式高可用集群部署安装 大数据系列二
西南交通大学计算机考研难吗？西南交通大学计算机考研考情分析！
m0_72717598的博客
05-16 259
西南交通大学信息科学与技术学院成立于1985年（原计算机科学与工程系），学院下设五个系，即计算机科学与技术系，软件工程系，自动化系，通信工程系，电子信息工程系，20多年来，学院已培养出研究生700余名，本科生近5000名，毕业生遍布全国各地，其中不少已成为国内外知名专家、学者。创新精神和能力、专业兴趣和素养等。复试要对考生的既往学业情况、外语听说交流能力、专业素质和科研创新能力，以及综合素质和一贯表现等进行全面考查，主要考核内容包括思想政治素质和道德品质、外语听说能力、专业素质和能力、综合素质及能力。
Hive的“分区”
早拾碗吧的博客
05-15 469
【代码】Hive的“分区”
要对数据源和同步后的数据进行数据量的对比
smile6868的博客
05-16 331
4. **数据对比**：在 Flink 中创建两个表，一个连接到数据源，另一个连接到目标系统，然后使用 Flink SQL 来比较这两个表的数据。3. **数据同步**：使用 Flink SQL CDC Connectors 或其他合适的连接器来同步数据源的数据到目标系统。5. **执行 Flink SQL**：在 Flink SQL 客户端或 Flink Web UI 提交上述 SQL 脚本。2. **数据同步**：如果你使用的是 Flink CDC Connectors，它会自动处理数据的增量同步。
大数据概述
JAZJD的博客
05-16 686
从最初的存储和处理海量数据，到后来的数据分析和可视化，再到如今的机器学习和人工智能驱动的大数据应用，大数据技术日新月异，不断突破创新。在信息科技方面，计算机硬件性能的提升、存储技术的进步、网络传输速度的加快等，为海量数据的产生、收集和处理提供了技术支撑。：大数据往往包含多种类型的数据，如结构化数据（数据库中的表格数据）、半结构化数据（XML、JSON等格式）、以及非结构化数据（文本、图像、视频等）。随着技术的进步和应用的深入，大数据必将释放出更大的价值，为社会带来更多的创新和变革。
技术前沿 |【SIMD并行计算与分布式算法：前沿技术的深度解析】
尺小闹的博客
05-15 1101
随着技术的不断进步和创新，SIMD并行计算和分布式算法将在更多领域得到应用。例如，在物联网、边缘计算、区块链等新兴领域中，SIMD并行计算和分布式算法将发挥重要作用，推动这些领域的快速发展。综上所述，SIMD并行计算和分布式算法作为前沿技术，在提升数据处理和计算能力方面具有重要作用。随着信息技术的不断发展，这两种技术将在更多领域得到应用，并推动社会进步和科技发展。
rocketmq的顺序消息开发注意事项
silver9886的专栏
05-14 191
rokcetmq和kafka一样，当顺序消息写入的多个队列中后，如果是顺序消息，当前的队列的队头一直消费失败的时候，是会阻塞当前队列的全部的后续消息的。MaxReconsumeTimes进行设置。之前就是因为没有进行设置，导致了队头阻塞问题。
2024汽车行业品牌矩阵运营水位报告
最新发布
womer的专栏
05-17 610
来源：矩阵近期历史回顾：
30、Flink 的故障恢复详解
猫猫爱吃小鱼粮
05-14 1270
Flink 的故障恢复详解
hdfs所有基础命令测试脚本
05-13
以下是HDFS的基础命令测试脚本，可以用于测试HDFS的基础命令是否可用。 ```bash #!/bin/bash # Create directory hdfs dfs -mkdir /testdir # Create file echo "Hello World" > test.txt hdfs dfs -put test.txt /testdir # List files hdfs dfs -ls /testdir # Read file hdfs dfs -cat /testdir/test.txt # Copy file hdfs dfs -cp /testdir/test.txt /testdir/test_copy.txt # Move file hdfs dfs -mv /testdir/test.txt /testdir/test_move.txt # Delete file hdfs dfs -rm /testdir/test_copy.txt # Delete directory hdfs dfs -rmdir /testdir ``` 运行以上脚本，如果没有出现错误，则说明HDFS的基础命令可用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值