Hdfs本地短路读取文件

最新推荐文章于 2023-10-28 11:23:07 发布
最新推荐文章于 2023-10-28 11:23:07 发布
阅读量776 收藏
点赞数
分类专栏： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tomson8975/article/details/47362723
版权
本地短路读取文件：

dfs.client.read.shortcircuit=true;#开启本地磁盘读

dfs.block.local-path-access.user=hdfs#可以使用本地读的用户

dfs.client.read.shortcircuit.skip.checksum=false#是否跳过checksum

dfs.client.read.shortcircuit.streams.cache.size=256；#DFSClient能同时掌握的File Description数

dfs.client.read.shortcircuit.streams.cache.expiry.ms=300000；#cache未使用超时时间.

tomson8975
关注
专栏目录
【精】HDFS短路读原理详解
Badme
09-06 640
本文主要内容： HDFS短路读的概念 HDFS安全短路读和非安全短路读 HDFS安全短路的实现。从read方法 -> native方法分配共享内存的过程 ##一、短路读 首先来介绍一下什么是短路读（shortcuit read）。 在HDFS中，如果客户端和要读取的数据所在Datanode处于同一台物理节点上时，那么客户端可以采用直接读本地磁盘上数据的方法进行读操作，而不用再和Datanode建立TCP连接之后再传递数据了。 短路读的好处很明显：建立和维护TCP连接都是有开销的，而短路读直接读取本
【Hadoop】HDFS Short Circuit Local Reads（HDFS短路读取）
九师兄
05-20 1028
详解HDFS Short Circuit Local Reads Hadoop的一大基本原则是移动计算的开销要比移动数据的开销小。因此，Hadoop通常是尽量移动计算到拥有数据的节点上。这就使得Hadoop中读取数据的客户端DFSClient和提供数据的Datanode经常是在一个节点上，也就造成了很多“Local Reads”。 最初设计的时候，这种Local Reads和Remote Reads（DFSClient和Datanode不在同一个节点）的处理方式都是一样的，也就是都是先由Datanode读.
HDFS短路读详解
weixin_33800593的博客
06-04 334
本文介绍了HDFS的短路读演进、安全的短路读以及小米在安全短路读的优化。上篇文章回顾：HDFS Decommission问题分析背景Hadoop的一个重要思想就是移动计算，而不是移动数据。我们更愿意尽可能将计算移动到数据所在节点。因此，HDFS中经常出现客户端和数据在一个节点上，当客户端读取一个数据块时，就会出现本地读取。例如HBase场景，ResionServer写数据一般在HDFS中都会存储三...
HDFS 短路读的实现(全网最全面深入讲解)
最新发布
小昌昌的博客
10-28 554
HDFS短路读是性能优化的一个重要特性，它利用操作系统的内存映射mmap和共享内存，避开传统的基于TCP的数据通信，极大提升了数据读取效率。整个短路读的过程完全放弃传统的基于TCP/IP的通信方式，基于进行通信，基于mmap和内存共享进行数据同步和块的高效率读取，整个读取过程涉及到了操作系统(mmap等)、Java等知识，同时也和HDFS的缓存系统交叉在一起，因此涉及到的东西很多，本文篇幅较长。
HDFS中文件短路读----概述
weixin_39935887的博客
02-17 361
接下来我们将分三个部分来讲述hdfs中文件短路读，这部分比较重要同时也是比较复杂的，我花了不少时间才有了一个大概了解，希望我的总结能给大家带来帮助。这三个部分分别为： 1、概述，讲述什么是文件短路读以及它的好处 2、实现文件短路读的流程，以及相关的实现类结构 我们开始进行第一个部分，文件短路读概述 hadoop的一个重要思想是移动计算(把计算任务下发到数据所在的节点进行处理)，而不是移动数...
HDFS文件读写过程详解
搁浅记忆的博客
03-02 2179
1，hdfs文件写入过程 Client 发起文件上传请求, 通过 RPC 与 NameNode 建立通讯, NameNode 检查目标文件是否已存在, 父目录是否存在，是否具备上传权限, 返回是否可以上传 client会根据上传文件大小将该文件划分成多个block块，例如300M，则会划分为128M，128M，128M Client 请求NameNode第一个 block 该传输到哪些 DataNode 服务器上 NameNode 根据配置文件中指定的.
8_HDFS的短路读机制
nothair的博客
03-06 460
2020/12/22 sunhaiqi@bonc.com.cn 文章目录HDFS的短路读机制一、背景二、短路读的演进2.1、网络读2.2、HDFS-2246 不安全短路读2.3、HDFS-347 安全短路读三、HDFS安全短路读3.1、短路读共享内存3.2、短路读流程 HDFS的短路读机制 一、背景 ​ Hadoop的一个重要思想就是移动计算，而不是移动数据。我们更愿意尽可能将计算移动到数据所在节点。因此，HDFS中经常出现客户端和数据在一个节点上，当客户端读取一个数据块时，就会出现本地读取。例如HBase
hdfs文件的读取过程
黄道婆的专栏
09-21 1840
8、HDFS的文件读取过程 详细步骤解析 1、 Client向NameNode发起RPC请求，来确定请求文件block所在的位置； 2、 NameNode会视情况返回文件的部分或者全部block列表，对于每个block，NameNode 都会返回含有该 block 副本的 DataNode 地址； 这些返回的 DN 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离 Client 近的排靠前；心跳机制中超时汇报的 DN 状态...
HDFS短路本地读取(Short Circuit Local Reads)
moyefeng198436的专栏
02-03 1213
在HDFS中，读取操作都是通过DataNode来进行的。因为需要DataNode在中间做一次中转，所以对性能有一定的影响。 客户端是否可以跳过DataNode直接对文件进行操作？ 只有客户端和数据在同一台服务器上，可以通过“短路”本地读取直接读取文件。 所谓“短路”读取，就是允许绕过DataNode让客户端直接读取文件，从而提升文件的读取性能。 HDFS的“短路”读取是建立在Linux中的Unix Domain Socket技术上的。 Unix Domain Socket是一种进程间的..
HDFS 本地短路读取 Short-Circuit Local Reads
breakout_alex的博客
02-01 604
背景 在 HDFS 中，读操作通常要经过 DataNode。因此，当客户端请求 DataNode 读取文件时，DataNode 从磁盘读取该文件并通过 TCP 套接字将数据发送给客户端。所谓的“短路”读取就是绕过 DataNode，允许客户端直接读取文件。当然，这只有在客户端与数据共存的情况下才可能实现。短路读取为许多应用程序提供了实质性的性能提升。 设置 要配置短路本地读操作，您需要启用libhadoop.so，有关启用此库的详细信息，请参阅https://hadoop.apache.org/doc
HDFS 短路本地读Short-Circuit Local Reads
Dreamershi的专栏
04-28 576
Hadoop的一个重要思想就是移动计算，而不是移动数据。我们更愿意尽可能将计算移动到数据所在节点。因此，HDFS中经常出现客户端和数据在一个节点上，当客户端读取一个数据块时，就会出现本地读取。例如HBase场景，ResionServer写数据一般在HDFS中都会存储三备份副本并且肯定会往本地节点写一备份，当ResionServer读取该数据时也会优先选择同一节点的数据进行读取。 短路读的演进 1、网络读 最初，HDFS中本地读取的处理方式和远程读取相同，也是通过网络读来实现。客户端通过TCP套
读HDFS书笔记---5.3 文件短路读操作
weixin_39935887的博客
11-27 971
这一节的目录: 5.3 文件短路读操作         5.3.1 短路读共享内存         5.3.2 DataTransferProtocol         5.3.3 DFSClient短路读操作流程         5.3.4 Datanode短路读操作流程 在HDFS早期版本中，本地读取和远程读取的实现是一样的，客户端通过TCP套接字连接Datanode，并通过Dat...
十：HDFS Short-Circuit Local Reads 短路本地读取
weixin_30855761的博客
08-30 171
当client请求数据时，datanode会读取数据然后通过TCP协议发送给client.short-circuit绕过了datanode直接读取数据。short-circuit的前提是client和数据在同一个结点上。 short-circuit需要libhadoop.so，一个本地库。该功能使用unix套接字，client和node通过套接字连接，需要对这个套接字设置一个路径，并...
hbase对HDFS开启短路读功能
bck1453925668的博客
10-28 469
1.增加短路读路径 mkdir /var/lib/hadoop-hdfs chmod 775 /var/lib/hadoop-hdfs chown hdfs:root -R /var/lib/hadoop-hdfs 2.开启datanode 短路读(${HADOOP_HOME}/etc/hadoop/hdfs-site.xml) 添加配置 <property> <name>dfs.client.read.shortcircuit</name> ...
开启HDFS的　dfs.client.read.shortcircuit　配置
Yannick Jiang 的专栏
03-26 2701
１。在　hadoop的配置文件　hdfs-site.xml　添加如下配置： <property> <name>dfs.client.read.shortcircuit</name> <value>true</value> </property> <property> ...
spark读取本地文件和hdfs文件
06-28
Spark可以通过以下两种方式读取本地文件和HDFS文件： 1. 读取本地文件 可以使用SparkContext的textFile()方法读取本地文件，例如： ``` val sc = new SparkContext("local", "read local file") val rdd = sc....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值