spark学习-41-Spark的块传输服务BlockTransferService

最新推荐文章于 2020-07-07 10:13:04 发布
最新推荐文章于 2020-07-07 10:13:04 发布
阅读量1.7k 收藏
点赞数
分类专栏： 大数据-spark 文章标签： spark 块传输服务 Block Transfer Service
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/78645708
版权
大数据-spark 专栏收录该内容
204 篇文章 480 订阅 ¥49.90 ¥99.00
订阅专栏
本文深入探讨Spark的块传输服务BlockTransferService，重点介绍默认的Netty实现，它作为网络应用框架，用于获取远程节点的Block集合。在SparkEnv初始化时创建，NettyBlockTransferService提供了关键功能。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.blockTransferService默认为NettyBlockTransferService ,它使用Netty法人一步时间驱动的网络应用框架，提供web服务及客户端，获取远程节点上的Block集合。

2.块传输服务BlockTransferService是在SparkEvn初始化的时候创建的

// =================================.创建块传输服务BlockTransferService;===========================
    /*
        blockTransferService默认为NettyBlockTransferService（可以配置属相spark.shuffle.blockTransferService使用NioBlockTransferService）
        ,它使用Netty法人一步时间驱动的网络应用框架，提供web服务及客户端，获取远程节点上的Block集合。
     */
    val blockTransferService =
      new NettyBlockTransferService(conf, securityManager, bindAddress, advertiseAddress,
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
第39课：BlockManager解密进阶：BlockManager初始化和注册解密、BlockManagerMaster工作解密、BlockTransferService解密、本地数据读写解密、远程
段智华的博客
06-07 1289
第39课：BlockManager解密进阶：BlockManager初始化和注册解密、BlockManagerMaster工作解密、BlockTransferService解密、本地数据读写解密、远程数据读写解密BlockManager既可运行在Driver上，也可以运行在Executor上。在Driver上的BlockManager管理集群中Executor的所有的BlockManager，Bl
BlockTransferService
chbxw
04-09 283
在SparkEnv中初始化，它使用Netty提供的异步时间驱动的网络应用架构， 提供web服务及客户端，获取远程节点上Block集合 val blockTransferService = new NettyBlockTransferService(conf, securityManager, bindAddress, advertiseAddress, bloc...
Spark Network 模块分析 (BlockTransferService及新的RPC框架等)
Yannick Jiang 的专栏
12-28 946
作者：Alex90 链接：https://www.jianshu.com/p/d712fc336f9d 來源：简书 简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。 Spark Network 模块分析 为什么用Netty通信框架代替Akka 一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点，但...
BlockTransferService 实现
weixin_30877181的博客
08-21 108
spark的block管理是通过BlockTransferService定义的方法从远端获取block、将block存储到远程节点。shuffleclient生成过程就会引入blockTransferService。 类的定义如下： 定义了目标节点的主机名和端口号，还定义了批量获取，批量保存，单个block的同步获取和保存。初始化服务和关闭服务方法。 /* * Lice...
BlockManager初始化和注册解密、BlockManagerMaster工作解密、BlockTransferService解密、本地数据读写解密、远程数据读写解密
热门推荐
sundujing的博客
05-15 1万+
1. BlockManager的注册和初始化 2. BlockManager里面的重要函数详细介绍 一：BlockManager初始化 1. BlockManager的实例对象调用initializes的时候才能正常工作。 启动initializes方法又两个作用：BlockTransferService(网络通信)，ShuffleClient/** * Initializ
spark-2.4.7-bin-hadoop2.6.tgz
03-17
在解压`spark-2.4.7-bin-hadoop2.6.tgz`后，您会得到一个名为`spark-2.4.7-bin-hadoop2.6`的目录，其中包括以下组件： - `bin/`：包含可执行文件，如`spark-submit`，`pyspark`，`spark-shell`等，用于启动和管理...
spark-2.0.0-bin-hadoop2.6.tgz
11-13
本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载,本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载
spark-3.0.0-bin-hadoop3.2
02-17
在本场景中，我们讨论的是Spark的3.0.0版本，与Hadoop3.2相结合的二进制发行版——"spark-3.0.0-bin-hadoop3.2"。这个压缩包是为了在Windows操作系统下运行Spark而设计的，因此标签明确指出它是适用于Windows平台的...
apache-doris-spark-connector-2.3_2.11-1.0.1
05-05
Spark Doris Connector（apache-doris-spark-connector-2.3_2.11-1.0.1-incubating-src.tar.gz） Spark Doris Connector Version：1.0.1 Spark Version：2.x Scala Version：2.11 Apache Doris是一个现代MPP分析...
spark-3.5.1-bin-hadoop3.tgz
最新发布
04-22
但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相似的开源集群计算环境，...
Spark的shuffle调优
12-19
spark.reducer.maxSizeInFlight 48m reduce task的buffer缓冲，代表了每个reduce task每次能够拉取的map side数据最大大小，如果内存充足，可以考虑加大，从而减少网络传输次数，提升性能 spark.shuffle.blockTransferService netty shuffle过程中，传输数据的方式，两种选项，netty或nio，spark 1.2开始，默认就是netty，比较简单而且性能较高，spark 1.5开始nio就是过期的了，而且spark 1.6中会去除掉 spark.shuffle.compress true 是否对map side输出的文件进行压缩，默认是启用压缩的，压缩器是由spark.io.compression.codec属性指定的，默认是snappy压缩器，该压缩器强调的是压缩速度，而不是压缩率
spark-core_29：blockManager.initialize（）=》NettyBlockTransferService.init()-NettyServer创建源码分析
luyllyl的博客
05-23 458
上一节（spark-core_28：Executor初始化过程env.blockManager.initialize(conf.getAppId)- NettyBlockTransferService.init()源码分析）分析了a、NettyBlockRpcServer是用于打开的上传注册在BlockManager中的Block块b,TansportConf:会通过它成员：ConfigProvi...
Spark-NettyBlockTransferService、NettyBlockRpcServer、OneForOneBlockFetcher 源码解析
u010374412的博客
03-06 571
Spark-NettyBlockTransferService、NettyBlockRpcServer、OneForOneBlockFetcher 源码解析class NettyBlockTransferServiceclass NettyBlockRpcServerOneForOneBlockFetcher class NettyBlockTransferService 这个类的主要目的是 和其...
spark 2.4.0源码分析--(三)Spark Netty通信传输层架构
LS_ice的专栏
01-23 1696
文章目录一、TansportSever服务度 一、TansportSever服务度 留名，本周加上后续内容
spark 2.1 NettyBlockRpcServer use stream to open block
houzhizhen的专栏
05-11 278
NettyBlockRpcServer is used to deal prc calls. /** * Serves requests to open blocks by simply registering one chunk per block requested. * Handles opening and uploading arbitrary BlockManager blocks.
Spark之Shuffle参数调优解析
勇心在馨
07-07 3646
在分布式系统中，数据分布在不同的节点上，每个节点计算一部分数据，后续将各个节点的数据进行汇聚，此时会出现shuffle，shuffle会产生大量的磁盘IO，网络IO，压缩，解压缩，序列化，反序列化等操作，这系列操作对性能都是很大的负担。 下面是spark2.2.0版本的shuffle的属性表，http://spark.apache.org/docs/2.2.0/configuration.html 一、Shuffle 参数 Property Name Default Meaning
Spark troubleshooting shuffle寻址 以及 解决JVM GC导致拉取文件失败
chixushuchu的博客
12-19 244
shuffle寻址图 shuffle文件寻址基础知识 MapOutputTracker spark架构中的一个主从模块 Driver端主对象MapOutputTrackerMaster Executor端从对象MapOutputTrackerWorker BlockManager 也是spark架构中的一个模块，也是主从架构 Driver端主对象 BlockManagerMaster Exec...
基于Spark Shuffle Block的优化
wjl7813的博客
04-18 869
org.apache.spark.storage.DiskStore  if(length<minMemoryMapBytes){  valbuf=ByteBuffer.allocate(length.toInt)  channel.position(offset)  while(buf.remaining()!=0){  if(channel.read(buf)==-1){  thrown...
Spark2.0 shuffle service
houzhizhen的专栏
11-14 1562
/** Provides an interface for reading shuffle files, either from an Executor or external service. */ public abstract class ShuffleClient implements Closeable { /** * Initializes the ShuffleClien
掌握Spark-submit：部署与应用提交指南
学习如何通过命令行工具`spark-submit`提交应用程序，这个过程涉及到提供必要的参数，如主类路径、JAR包、应用配置文件等。链接`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值