167.Hadoop（三）：HDFS的shell操作，api的使用，读写流程，NN和2NN，DataNode

最新推荐文章于 2024-08-31 23:02:38 发布
最新推荐文章于 2024-08-31 23:02:38 发布
阅读量130 收藏
点赞数
分类专栏： 从头开始学编程 文章标签： hdfs hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40594696/article/details/125012252
版权
本文详细介绍了HDFS的基础概念，包括HDFS的定义、使用场景、优缺点及组成架构。重点讲解了NameNode和DataNode的角色，以及Secondary NameNode的工作原理。此外，还探讨了HDFS的文件块大小设置和HDFS的shell及API操作。HDFS的读写流程、NameNode与2NN的工作流程、DataNode的工作机制也是文章的重点内容。
摘要由CSDN通过智能技术生成

目录

一、HDFS基础概念

1.什么是HDFS

2.HDFS使用场景

3.HDFS优点

4.HDFS缺点

5.HDFS官网

6.HDFS组成架构

 （1）NameNode：可以理解成master

（2）DataNode：可以理解成slave

（3）Client：客户端

（4）Secondary NameNode：SNN不是NameNode的热备，即NameNode挂了SNN不会去替代它

7.HDFS文件块大小设置

（1）为什么默认是128M

（2）为什么块不能太小

（3）为什么块不能太大

二、HDFS的shell操作（重要）

1.上传+追加

2.下载

3.常用指令

三、HDFS的API操作

1.将配置文件配置 到环境变量

 2.idea创建一个项目，并导入依赖

 3.设置日志

 4.编写代码，并测试

5.其他功能编写

四  、HDFS的读写流程 

1.HDFS写数据流程（面试重点）

2.节点距离计算 

3. 副本节点选择

4.HDFS读数据的流程

五、 NameNode和SecondaryNameNode

1.NN和2NN的工作流程

2.fsimage和edits概念

3.查看fsimage和edits操作

（1）查看fsimage相关操作

（2）查看edits相关操作

4.checkPoint时间设置

六、DataNode的工作机制

1.DataNode运行流程

2.DataNode目录查看，手动设置同步块信息时长

3.数据完整性校验

4.掉线时限参数设置

一、HDFS基础概念

1.什么是HDFS

HDFS它是一个文件系统，用于存储文件，通过目录树来定位文件（类比linux文件系统结构）。

其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

2.HDFS使用场景

适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变

3.HDFS优点

（1）高容错性，因为分布式，数据会有多个副本</

了解本专栏 订阅专栏 解锁全文 超级会员免费看
鹏哥哥啊Aaaa
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
大数据之hadoop中的HDFS（包括客户端操作）
a18379692263的博客
11-13 1903
1、概述 随着数据量的日益增长，数据的存储问题尤为突出，HDFS就是分布式文件管理系统中的一种。主要适用于一次写入，多次读出的场景。 hdfs优点：高容错性（数据自动保存多个副本，通过增加副本的形式，提高容错性；某个副本丢失以后，可以自动恢复。）；适合处理大数据；可构建在廉价机器上。 hdfs缺点：不适合低延时数据访问；无法高效的对大量小文件进行存储；不支持并发写入、文件随机修改（一个文件只能有一个写，不允许多个线程同时写；仅支持数据append，不支持...
Hadoop：HDFS概述和Shell、API操作
热门推荐
学习记录和总结
05-23 1万+
HDFS概述和Shell、API操作
HDFS的shell和api操作
10 学习笔记
04-17 648
HDFS概述 HDFS 是分布式文件管理系统中的一种 适合一次写入，多次读出的场景 优点：高容错性 ；适合处理大量数据；可构建在廉价机器上 缺点：不适合低延时数据访问 ；无法高效的对大量小文件进行存储 ；不支持并发写入，仅支持数据append（追加），不支持文件的随机修改 HDFS 组成架构 NameNode（NN）：Master 管理HDFS的名称空间 配置副本策略 管理数据块（Block）映射信息 处理客户端读写请求。 DataNode：Slave，NameNode下达命令，DataNode执行实
hadoop shell命令操作
蓝天之枫
07-15 3812
先看我服务器情况：shizhan01有 ResourceManager 和 NameNodeshizhan02 03 04里是我的 NodeManager 和 DataNode访问 http://shizhan01:50070DataNode是存放数据的，hdfs把我的数据都存成两份（我们在hdfs-site.xml里配置的是2），如果数据太大超过128M时，hdfs就会把我的数据给拆开，按偏移量...
HDFS的shell和API操作
lv_hulk的博客
02-12 303
HDFS的shell和API操作 （一）HDFS的shell操作 hadoop version //查看版本 hadoop fs -appendToFile src(Linux中的文件) dest(hdfs目录下的文件) //追加 hadoop fs -cat file(hdfs目录下的文件) //查看文件内容 Hadoop fs -tail file(h...
Hadoop详解（四）：HDFS shell操作和Java API操作
Master-TJ的个人博客
01-21 2667
1. HDFS环境准备 1.1 HDFS的格式化与启动 HDFS配置完之后就可以对其进行格式化操作。在NameNode所在机器上执行如下命令进行HDFS的格式化操作： hadoop namenode --format 在完成hdfs的格式化之后，就可以开始启动HDFS系统了，执行如下命令启动HDFS： bin/start-dfs.sh 1.2. HDFS运行检查 用户可以使用HDFS的管理...
【Hadoop学习】中：HDFS、shell操作、客户端API操作、数据流、1NN、2NN原理、DataNode配置...
USTSD的博客
10-30 102
一、概述 1、背景、定义、使用场景(一次写入、不支持修改) 2、优(容错)缺点(延迟、不支持小文件、不支持修改) 3、组成架构 NameNode：Master，管理命名空间、配置策略 DataNode：slave，执行数据读写操作 Client：使用命令访问和交互 SecondNameNode：辅助分担namenode的工作量、恢复namenode 4、HDFS文件块大小 分块存储，默认128M...
Hadoop_HDFS实践 (一)=＞(架构、Shell相关操作、API、NN/2NN工作原理、DataNode工作机制等)
jiangbenchu的博客
03-20 645
​ Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。HDFS 有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS 放宽了（relax）POSIX 的要求（requirements）这样可以实现流的形式访问（streaming access）文件系统中的数据。
从零开始的Hadoop学习（五）| HDFS概述、shell操作、API操作
庭前云落的博客
08-31 808
1）HDFS 产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。2）HDFS定义HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件：其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
大数据技术之Hadoop(HDFS).docx
03-02
* Secondary Namenode（2NN）：负责 Namenode 的备份和故障恢复。 1.4 HDFS 文件块大小（面试重点） HDFS的文件块大小是HDFS的一个重要参数，决定了HDFS的存储和读写性能。默认情况下，HDFS的文件块大小为128M，...
Hadoop | HDFS学习笔记（一）HDFS优缺点、NN+DN+2NN组成架构、block文件块 | Shell操作 | HDFS常用命令汇总
希望每天都能进步一点点
01-17 2194
参考资料 视频资料 一、HDFS 背景以及定义 背景： 数据量越来越大，操作系统存不了所有数据，需要能管理多台机器上的文件的系统，即分布式文件管理系统，HDFS就是其中的一种。 定义： HDFS，全称 Hadoop Distributed File System，是一个文件系统，通过 目录树 来定位文件，具有分布性，是由多个服务器联合起来实现的存储功能。 适用场景：一次写入，多次读出。 即一个文件经过创建、写入和关闭后就不需要改变的情况。 二、HDFS 优缺点 2.1 优点 高容错性： 数据自动保
【Pyspark-驯化】一文搞懂Pyspark中表连接的使用技巧
志在创建优质博客、通俗易懂、助力大家提高学习效率！
08-12 1428
在数据处理和分析中，表连接（Join）是一种常用的操作，用于将两个或多个表中满足特定条件的数据行组合在一起。PySpark提供了多种连接函数，允许用户根据不同的键进行内连接、外连接、左连接和右连接。PySpark中的连接函数是处理和分析数据集的重要工具。通过本博客的代码示例，我们学习了如何使用不同的连接类型和条件来合并数据。希望这篇博客能够帮助你更好地理解PySpark中的连接操作，并将其应用于实际的数据处理任务中。
【大数据分析工具】使用Hadoop、Spark进行大数据分析
weixin_39372311的博客
08-31 1485
Hadoop是一个开源的分布式计算框架，最初由Apache基金会开发。Hadoop分布式文件系统（HDFS）：负责存储大规模数据，提供高吞吐量的数据访问。MapReduce：一种编程模型，用于处理和生成大规模数据集，运行在分布式集群上。YARN：Hadoop的资源管理器，用于调度系统资源，支持多种数据处理模型。Apache Spark是一个基于内存的分布式数据处理框架，提供了比Hadoop更快的处理能力。Spark通过将数据加载到内存中并进行批量计算，大大提高了处理速度。
计算机毕业设计hadoop+spark+hive知识图谱股票推荐系统 股票数据分析可视化大屏 股票基金爬虫 股票基金大数据 机器学习 大数据毕业设计
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
08-29 344
计算机毕业设计hadoop+spark+hive知识图谱股票推荐系统 股票数据分析可视化大屏 股票基金爬虫 股票基金大数据 机器学习 大数据毕业设计
【精选】基于Hadoop的用户网站浏览分析的设计与实现（全网最新定制，独一无二）
程序员阿龙的博客
08-31 1617
我是程序员阿龙，专注于软件开发，拥有丰富的编程能力和实战经验。在过去的几年里，我辅导了上千名学生，帮助他们顺利完成毕业项目，同时我的技术分享也吸引了超过50W+的粉丝。我是CSDN特邀作者、博客专家、新星计划导师，并在Java领域内获得了多项荣誉，如博客之星。我的作品也被掘金、华为云、阿里云、InfoQ等多个平台推荐，成为各大平台的优质作者。 在Java技术领域和学生毕业项目实战中，我积累了深厚的知识与经验，并与高校老师、讲师及行业内的同行前辈保持着广泛的交流与合作。我的专业背景和丰富的实战经验使
使用R语言中的Fuzzy C-Means算法对iris数据集进行模糊聚类分析
09-03
在这项分析中，我们使用R语言对经典的iris数据集进行了模糊聚类分析，采用了Fuzzy C-Means（FCM）算法。Fuzzy C-Means是一种改进的聚类算法，允许每个数据点以不同的隶属度（概率）属于多个簇，而不仅仅是硬性分配到单个簇。这种方法特别适用于数据点之间界限不清晰的情况，通过计算每个数据点到各个簇中心的距离来确定其隶属度，从而生成更灵活的聚类结果。 在该分析中，我们首先从iris数据集中提取了四个数值变量——花萼长度、花萼宽度、花瓣长度和花瓣宽度。接着，我们加载了R中的cluster包，并使用其中的fanny函数执行Fuzzy C-Means聚类。我们设定了聚类数为3，这是因为iris数据集中的物种数为3个，虽然我们事先知道这些类别，但我们通过算法进行盲分类，以便验证其效果。 fanny函数的一个重要特点是其模糊指数参数（memb.exp），该参数决定了隶属度的模糊性。设置为较高的数值会使聚类结果更加模糊，即数据点可能较均匀地分布在多个簇中；而较低的数值则使得聚类结果更接近传统的硬聚类。
【中科院1区】Matlab实现粒子群优化算法PSO-SAE实现故障诊断算法研究.rar
最新发布
09-03
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用，注释清楚，适合新手 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
基于Web的农产品直卖平台+源代码+开题报告+演示视频.zip
09-03
计算机网络发展到现在已经好几十年了，在理论上面已经有了很丰富的基础，并且在现实生活中也到处都在使用，可以说，经过几十年的发展，互联网技术已经把地域信息的隔阂给消除了，让整个世界都可以即时通话和联系，极大的方便了人们的生活。所以说，农产品直卖平台用计算机技术来进行设计，不仅在管理方面更加的系统化，操作性强，最重要的是关于数据的保存和使用都能节约大量的时间，该系统非常的好用。 农产品直卖平台管理数据的工具是MySQL，编码的语言是Java，运用的框架是Spring Boot框架。该系统可以实现商家信用类型管理，农产品信息管理，农产品评价管理，商家管理，农产品订单管理，公告信息管理，用户管理等功能。 农产品直卖平台不仅能让操作人员使用更加地方便，并且设计的也很合理，能有效的避免误操作，让数据在录入的环节就符合设计需要，极大的规避了源头性的输入误差，顺利的让数据变得更加可控并且可靠，让出错的几率降到最低。 关键词：农产品直卖平台；农产品；评价；订单
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

鹏哥哥啊Aaaa

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值