Spark2.0.X算子源码深度剖析之MapPartitionsRDD,绝对让你看清楚算子的计算本质

微信号:519292115 邮箱:taosiyuan163@163.com 尊重原创,禁止转载!! 最近因为公司的事情 一直没来得及写博客.. 目前公司项目需要用到SparkStreamingOnKudu,,今晚撸代码的时候看了看Streaming的...

2017-10-20 19:47:01

阅读数 1886

评论数 3

Spark2.0.X源码深度剖析之 TaskScheduler之Task划分 —— 国内全网最新最全最具深度!!!

微信号:519292115 邮箱:taosiyuan163@163.com 尊重原创,禁止转载!! Spark目前是大数据领域中最火的框架之一,可高效实现离线批处理,实时计算和机器学习等多元化操作,阅读源码有助你加深对框架的理解和认知 Task作为Spark的最小执行单元...

2017-07-13 10:16:42

阅读数 1151

评论数 2

Spark2.0.X源码深度剖析之 DAGScheduler之Stage划分 —— 国内全网最新最全最具深度!!!

本人此次的DAGScheduler 源码剖析将涉及最底层的数据结构,每个细节的实现原理,算法,优化细节,各个组件之间交互动作以及纠正网上的一些错误介绍等....保证国内最新最全最细的源码剖析!

2017-07-03 10:58:17

阅读数 1494

评论数 2

Spark2.0.X源码深度剖析之 RpcEnv & NettyRpcEnv

RpcEnv是各个组件之间通信的执行环境,每个节点之间(Driver或者Worker)组件的Endpoint和对应的EndpointRef之间的信息通信和方法调用都是通过RpcEnv作协调,而底层是通过Netty NIO框架实现(Spark早期版本通信是通过Akka,大的文件传输是通过Netty,...

2017-06-12 10:59:54

阅读数 1725

评论数 3

Spark2.0.X源码深度剖析之 SparkEnv

SparkEnv作为Spark集群中实例的运行执行环境显得非常重要,他存在于Work和Driver里(如果是在Driver端创建的话就会走之前章节中提及到的createSparkEnv中的createDriverEnv,如果是在executor上则会调用CoarseGrainedExecutorB...

2017-06-11 11:16:41

阅读数 1173

评论数 4

Spark2.0.X源码深度剖析之 SparkContext

SparkContext作为程序员编写代码的第一个生成对象,它会首先在Driver端创建,除了负责连接集群以外还会在创建的时候会初始化各个核心组件,包括DAGScheduler,TaskScheduler,SparkEnv,accumulator等。

2017-06-10 20:04:31

阅读数 863

评论数 0

Spark2.0.X源码深度剖析之 Spark Submit..

Spark目前是大数据领域中最火的框架之一,可高效实现离线批处理,实时计算和机器学习等多元化操作,阅读源码有助你加深对框架的理解和认知 本人将依次剖析Spark2.0.0.X版本的各个核心组件,包括以后章节的SparkContext,SparkEnv,RpcEnv,NettyRpc,BlockMa...

2017-06-09 20:44:15

阅读数 985

评论数 0

完整版opentsdb集群搭建

因为测试电脑长时间没关,早上来宕机了,后来重启发现启动不了,各种问题 然后调试了2天 总算重新搭建起来(hadoop,hbase等都是原生态) 至于前面搭建hadoop 和hbase 就不赘述了,直接从搭建oopentsdb开始 1.执行./build.sh (如果没执行 就没有build...

2016-12-22 17:55:02

阅读数 2223

评论数 0

关于zookpeer的集群搭建

这段时间因为用的hbase 自带的zk做的测试 ,现在想把zk换成真实zk集群 刚搭好顺便做个笔记 zookeeper集群(注意:zk各个节点时间必须要一致) 集群规划:三个节点  1:首先操作 把zookeeper-3.4.6.tar.gz上传到服务器的/usr/local 2...

2016-12-21 16:40:25

阅读数 1209

评论数 0

关于OpenTSDB的Writing Data数据写入

摘自官网: pushing data over the Telnet or HTTP APIs, or use an existing tool with OpenTSDB support such as 'tcollector'. 所有数据可以通过 telent,http apti,和自身支...

2016-12-20 14:28:51

阅读数 1235

评论数 0

Scala 偏函数和偏应用函数

偏函数 偏函数是指仅定义了输入参数的子集的函数,如下图: 这个图显示的一个偏函数:f : X -> Y,该函数仅定义了输入参数X的子集1和3,没有包含2。 在Scala中的偏函数是通过特质PartialFunction[-A, +B]来定义的,查看P...

2016-12-17 14:05:57

阅读数 270

评论数 0

提示
确定要删除当前文章?
取消 删除