Hadoop详解与HDFS读写流程

最新推荐文章于 2023-12-30 21:10:37 发布
最新推荐文章于 2023-12-30 21:10:37 发布
阅读量397 收藏
点赞数
分类专栏： Hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40929921/article/details/91465687
版权
本文详细介绍了Hadoop的HDFS架构，包括NameNode、DataNode、NN&DN、SNN以及HDFS的优缺点。阐述了HDFS的写流程和读流程，强调了距离优先的读取策略。最后，通过实例展示了如何使用Shell命令执行Hadoop的WordCount程序。
摘要由CSDN通过智能技术生成

大数据

Hadoop

hadoop：包含分布式文件系统和分布式计算的一个框架。 HDFS，mapreduce

hadoop项目模块包括4部分：

Hadoop Common --工具类

Hadoop Distributed System(HDFS) --分布式文件系统

Hadoop YARN --分布式资源管理

Hadoop MapReduce --分布式计算框架

Hadoop-HDFS

存储模型：字节

文件线性切割成块Block 偏移量offset:块的第一个字节面向原文件的下标，eg：第一个块的偏移量是0

架构模型：主从

文件数据分为 元数据MetaData 和 文件数据

（主）NameNode字节保存文件元数据：单节点 posix

​ 生成目录树，不同于ls

（从）DataNode字节保存文件Block数据：多节点

​ 客户端HdfsClient先找主再找从

NN

数据元数据

基于内存存储 快 不会和磁盘发生交换，但要持久化

​ NameNode的metadate信息在启动后会加载到内存

​ metadata存储到磁盘文件名为“fsimage”

​ edits记录对metadata的操作日志。。。redis

持久化的2种方式：快照 fsimage–需要大量IO 写日志文件 edits log-只记录用户操作

​ 注意：都不保存

最低0.47元/天 解锁文章
人生路且修且行
关注
专栏目录
详解Hadoop核心架构HDFS
11-01
### 详解Hadoop核心架构HDFS #### HDFS体系架构概览 Hadoop作为一个领先的开源分布式计算框架，其核心组成部分之一便是Hadoop Distributed File System（HDFS），它为大规模数据处理提供了高效、可靠且可扩展的...
一起重新开始学大数据-hadoop篇-Day45-hdfs解析和zookeeper安装
tiand7的博客
08-30 495
一起重新开始学大数据-hadoop篇-Day45- hadoop启动脚本 详细启动脚本介绍 第一种：全部启动集群所有进程 启动：sbin/start-all.sh 停止：sbin/stop-all.sh 第二种：单独启动hdfs【web端口50070】和yarn【web端口8088】的相关进程 启动：sbin/start-dfs.sh sbin/start-yarn.sh 停止：sbin/stop-dfs.sh sbin/stop-yarn.sh 每次重新启动集群的时候使用 第三种：单独启动某一个进程
Hadoop读写操作（HDFS运行机制）
Hubert的博客
12-28 2430
目录一、HDFS读写数据流程1、HDFS读数据流程2、HDFS的写数据流程二、NN、2NN、DN工作机制1、HDFS读数据流程 一、HDFS读写数据流程 1、HDFS读数据流程 客户端通过Distributed FileSystem（分布式文件系统）向NameNode（索引）请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode（存储数据）地址； 挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据； DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，
Hadoop的读写流程
最新发布
2301_79995310的博客
12-30 506
一. 请简述 HDFS的数据写入流程。二. 请简述 HDFS的数据读取流程。
HDFS读写流程详细过程
m0_57697768的博客
05-29 1万+
HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术
非常详细HDFS读写流程+完美视觉的HDFS读写流程图
weixin_47201365的博客
11-24 2469
DataStreamer 将数据包流式传输到管线中第 1 个DataNode（dn1），该 DataNode（dn1） 存储数据包并将它发送到管线中的第 2 个 DataNode（dn2）。同样地，第 2 个 DataNode（dn2） 存储该数据包并且发送给管线中的第3个DataNode（dn3）DFSOutputStream 也维护着一个内部数据包队列来等待 DataNode 的收到确认回执，称为“确认队列”(ack queue)。NameNode检查目标文件是否已存在，父目录是否存在。
Hadoop之hdfs架构详解共2页.pdf.zip
10-28
"Hadoop之hdfs架构详解共2页.pdf.zip" 提供的主题是关于Hadoop的分布式文件系统HDFS（Hadoop Distributed File System）的深入解析，这是一份两页的PDF文档，可能涵盖了HDFS的核心概念、设计原则、工作流程以及相关...
Hadoop各组件详解（HDFS篇）
01-07
一、Hadoop三大组件 1.HDFS 分布式文件存储系统 2.MapReduce 分布式离线计算框架 ...3、流式数据访问，一次写入多次读写，这种模式跟传统文件不同， 它不支持动态改变文件内容，而是要求让文件一次写入就不做变化，
hadoop 读写文件流程详解
09-19
在hadoop中，有三大法宝——HDFS，MapReduce，Hbase，但是无论是MapReduce，Hbase还是hadoop中的其他组件如：Hive等他们要处理的数据还是处理完了的数据都是存储在HDFS中。可见HDFS可以说是hadoop存储的基础和核心，因此对HDFS的文件读写操作显得十分重要。
【hadoop_读写流程】
weixin_47922102的博客
11-17 865
nn回去检查这个路径的文件是否已经存在，是否有权限能够创建这个文件，2.Client 不一定在DN节点，随机选择一个DN。3.HDFS 副本放置策略 【面试，生产都会用到】此时，任然没有写数据，不关联任何的block块。hadoop 、hive hadoop用户。放置在第一个副本的不同机架上的某个DN节点。杀死进程：kill -9 pid 暴力杀死。hive 创建一个hive用户。生产上读写操作，选择DN节点进行读取。1.放置在client上传的DN节点。杀死进程 ： kill id;
HDFS读写流程
qq_42456324的博客
09-10 2537
HDFS的读写数据流程
HDFS读写流程（全面深入理解）
qq_45725767的博客
10-27 3695
1、HDFS写流程   （1）客户端通过对FileSystem.create() 对象创建建文件，DistributedFileSystem会创建输出流FSDataOutputStream。   （2）DistributedFileSystem 通过RPC远程调用名称节点，在文件系统的命名空间中创建一个新的文件，此时该文件中还没有相应的数据块。   （3）名称节会执行一些检查，比如文件是否已经存在、客户端是都有权限创建文件等。检查通过后，名称节点会构造一个新文件，并添加文件信息。如果检查不通过，文件创建失败
超详细的HDFS读写流程详解（最容易理解的方式）
香蕉牛奶棒棒槌的博客
03-12 671
HDFS采用的是master/slaves这种主从的结构模型管理数据，这种结构模型主要由四个部分组成，分别是Client(客户端)、Namenode(名称节点)、Datanode(数据节点)和SecondaryNameNode。HDFS作为hadoop的分布式储存框架，最重要的莫过于数据流的读写过程了，下面就HDFS得数据流的读写流程做个详细的剖析。 HDFS的写流程 首先写操作的代码操作： hd...
Hadoop HDFS 读写流程
lucklilili
08-16 306
客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。 NameNode 返回是否可以上传。 客户端请求第一个 Block 上传到哪几个 DataNode 服务器上。 NameNode 返回 3 个 DataNode 节点，分别为 dn1、dn2、dn3。 （5）客户端通过 FSDataOutputStream 模块请求 dn1 上传数据，dn1 收到请求会继续调用dn2，然后 dn2 调用 ...
HDFS的读写流程步骤（附图文解析）
热门推荐
奇迹虎虎的博客
03-04 2万+
HDFS的写入流程与读取流程，附图文步骤解析
HDFS最基础使用
lydms的博客
10-03 1万+
Hadoop中核心的数据存储管理，HDFS的内容基础讲解入门。
Hadoop生态：HDFS读写实践与关键组件详解
本文将深入解析Hadoop生态系统中HDFS（Hadoop Distributed File System）数据读写过程，以及与之相关的其他组件如Hive、HBase、Spark等在大数据处理中的作用。首先，我们从Hadoop的概述开始，它是一个分布式处理框架...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值