互联网时代创业新途径!

        你想摆脱身上大小病痛困扰吗?         你想把疾病消灭在萌芽之前吗?         你想比同龄人年轻一二十岁吗?         你想肌肤变美让身边人羡慕吗?         你想健康生活到一百二十岁吗?         你想让目前事业有超级备胎吗?         你想依...

2018-09-19 04:56:02

阅读数 323

评论数 0

56:Spark中的Tungsten内存和CPU的优化使用

本期内容: 1. Tungsten内存分配优化使用 2. Tungsten的CPU的优化使用 今天聚焦于内存和CPU的优化使用,这是Spark2.0提供的关于执行时的非常大的优化部分。 对过去的代码研究,我们会发现,抽象的提高,转过来会变成对CPU和内存的使用。也就是说,抽象提...

2016-08-07 18:45:10

阅读数 660

评论数 0

55:Spark中的Tungsten内存分配和管理内幕

本期内容 1. Tungsten内存分配内幕 2. Tungsten内存管理内幕 内存分配和管理内幕 恭喜Spark2.0发布,今天会看一下2.0的源码。 今天会讲下Tungsten内存分配和管理的内幕。Tungsten想要工作,要有数据源和数据结构,这时候会涉及到内存管...

2016-08-07 18:44:39

阅读数 957

评论数 0

54:Spark中的Tungsten-sort Based Shuffle内幕

本期内容: 1. Tungsten-sort Based Shuffle原理 2. Tungsten-sort Based Shuffle源码 ShortShuffleManager MemoryManager ShuffleExternalSorter Tungs...

2016-08-07 18:44:15

阅读数 666

评论数 0

53:Spark中Tungsten深度思考

本期内容: 1. 关于OS、JVM与大数据 2. JVM下的性能优化 jvm对分布式天生支持 整个Spark分布式系统是建立在分布式jvm基础上的,jvm非常伟大的一点在于把不同机器的计算能力联合起来了,jvm也把不同机器的存储能力连接起来了。 jvm是怎么做到这一点的,...

2016-08-07 18:43:30

阅读数 496

评论数 0

52:Spark中的新解析引擎Catalyst源码中的外部数据源、缓存及其它

本期内容: 1. Catalyst中的外部数据源 2. Catalyst中的缓存 3. 其它 外部数据源处理 什么叫外部数据源,是SparkSql自己支持的一些文件格式,以及一些自己自定义格式的文件开发。 让我们从文件的读取api开始,可以看到最终会创建一个DataFr...

2016-08-07 18:42:59

阅读数 595

评论数 0

51:Spark中的新解析引擎Catalyst源码SQL最终转化为RDD具体实现

本期内容: 1.  框架与RDD 2. Physical Plan与RDD 从技术角度,越底层和硬件偶尔越高,可动弹的空间越小,而越高层,可动用的智慧是更多。Catalyst就是个高层的智慧。 Catalyst已经逐渐变成了所有Spark框架的解析优化引擎,RD...

2016-08-07 18:42:15

阅读数 420

评论数 0

50:Spark中的新解析引擎Catalyst源码Physical Plan彻底详解

本期内容: 1. SparkPlanner的基本工作机制 2. Physical Plan源码彻底详解 物理计划是Spark和Sparksql相对比而言的,因为SparkSql是在Spark core上的一个抽象,物理化就是变成RDD,是SparkSql和Spark co...

2016-08-07 18:41:50

阅读数 629

评论数 0

49:Spark中的新解析引擎Catalyst源码Optimizer彻底详解

本期内容: 1. Optimizer的基本工作机制 2. Optimizer源码彻底详解 Optimizer是目前为止中catalyst中最重要的部分。主要作用是把analyzed logicalPlan变成optimized LogicalPlan。optimi...

2016-08-07 18:41:21

阅读数 697

评论数 0

48:Spark中的新解析引擎Catalyst源码Analyzer彻底详解

本期内容: 1. Analyzer的基本工作机制 2. Analyzer源码彻底详解 在sql语句的处理流程中,analyzer是在sqlparse的基础上,把unresolved logical plan生成logcal plan。 Analyzer定义 在analyz...

2016-08-07 18:40:29

阅读数 548

评论数 0

47:Spark中的新解析引擎Catalyst源码SqlParser彻底详解

本期内容: 1. SqlParser的基本工作机制 2. SqlParser源码彻底详解 把DataFrame、DataSet变成树。Spark中哟很多结构是树结构。 树形结构 从前面的介绍,我们可以看到sqlParser会返回一个logicalPlan,它是Tree...

2016-08-07 18:39:57

阅读数 2112

评论数 0

46:Spark中的新解析引擎Catalyst源码初探

本期内容: 1. SQLContext 2. Catalyst核心组件源码 SQLContext基于SparkContext。Spark应用程序中可以有多个SparkContext。allowMultipleContexts Catalog类 SqlParser Analyze...

2016-08-07 18:39:29

阅读数 673

评论数 0

45:神速理解Spark中的新解析引擎Catalyst

本期内容: 1. Catelyst本地解析 2. Catalyst流程精彩解析 Catalyst是Spark SQL中的一套函数式关系查询优化框架。在Catalyst的帮助下,Spark SQL的开发者们只需编写极为精简直观的申明式代码,即可实现各种复杂的查询优化策略,从而大大降低了...

2016-08-07 18:39:03

阅读数 793

评论数 0

44:Spark Streaming之Spark内核回顾思考

本期内容: 1. Spark Streaming与Spark Core 2. Spark Core思考 Spark上的子框架,都是后来加上去的。都是在Spark core上完成的,所有框架一切的实现最终还是由Spark core来做的。抛开任何具体的东西,现在考虑...

2016-08-07 18:38:44

阅读数 672

评论数 0

43:Spark Streaming中UI内幕实现彻底解密

本期内容: 1. Spark Streaming中UI的监听模式 2. Spark Streaming中UI具体源码解析 解析UI监听模式 今天分享下SparkStreaming中的UI部分,和所有的UI系统一样,SparkStreaming中的UI系统使用的是监听器模式。监听器模式是...

2016-08-07 18:37:54

阅读数 947

评论数 6

42:Spark Streaming中checkpoint内幕实现彻底解密

本期内容: 1. Spark Streaming中Checkpoint的使用 2. Spark Streaming张应用程序的重新启动 今天谈下sparkstreaming中,另外一个至关重要的内容Checkpoint。 首先,我们会看下checkpoint的使用。...

2016-08-07 18:13:51

阅读数 1667

评论数 9

41:Spark Streaming中WAL内幕实现彻底解密

本期内容: 1. WAL框架和实现 2. Spark Streaming中WAL的使用 从本质点说,WAL框架是一个存储系统,可以简单的认为是一个文件系统,其作用类似于BlockManager。 我们首先看一下官方的说明: 这里有三个要点: 总体上,...

2016-08-07 18:03:21

阅读数 1271

评论数 4

40:Spark Streaming中KafkaReceiver内幕实现彻底解密

本期内容: 1. KafkaInputDStream源码解密 2. KafkaReceiver源码解密 Direct方式,是No Receiver方式,和普通Receiver方式,最大的区别,是元数据的管理方式。 Direct方式是没有通过zookeeper,由应用自身来管理。 Kaf...

2016-08-07 17:52:18

阅读数 1488

评论数 4

39:Spark Streaming中Direct Kafka内幕实现彻底解密

本期内容: 1 Spark Streaming下Direct Kafka的实例 2 Spark Streaming中Direct Kafka内幕 Streaming5minWindow.java: KafkaUtils.createDirectStream:有多个。 To...

2016-07-11 10:51:18

阅读数 377

评论数 0

38:Kafka源码解读Producer工作机制内幕

本期内容: 1 Producer代码示例 2 Producer源码解密 Partition分leader、followers。 MokeAdClickedStats.java: ProducerConfig: topicMetadatsRefreshIntervalMs ...

2016-07-11 10:50:45

阅读数 358

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭