段智华的博客

热烈祝贺王家林大咖2020年清华大学两本新书《Spark大数据商业实战三部曲》第二版、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》出版发行，欢迎关注访问！

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Spark Release 2.2.0 最新版本发布，Spark 2.2.0是Spark 2.x中第一个在生产环境可以使用的版本，对于Spark具有里程碑意义

第2章 Spark 2.X技术及原理 Apache官方网站于2017年7月11日发布了Spark Release 2.2.0版本， Apache Spark 2.2.0版本是Spark 2.x系列上的第三个版本。Spark 2.2.0是Spark 2.x中第一个在生产环境可以使用的版本，对于Spark具有里程碑意义。Spark 2.2.0版本中 Structured Streaming 的实验性标

2017-07-18 05:43:18 4395 1

原创数据倾斜解决方案之六：使用随机数进行Join

30.7数据倾斜解决方案之六：使用随机数进行Join本节讲解使用随机数进行Join，首先讲解什么叫使用随机数进行Join来解决数据倾斜问题，然后讲解如何使用随机数？使用随机数进行Join来解决数据倾斜问题使用场景、案例实战、注意事项等内容。30.7.1什么叫使用随机数进行Join来解决数据倾斜问题？使用随机数进行Join来解决数据倾斜问题：如果2个RDD的数据中某个Key或者某几个

2017-07-13 07:29:13 2682

原创数据倾斜解决方案之三：使用随机Key实现双重聚合

数据倾斜解决方案之三：使用随机Key实现双重聚合本节讲解使用随机Key实现双重聚合，首先讲解什么是随机Key双重聚合；接下来讲解使用随机Key实现双重聚合解决数据倾斜的适用场景、原理分析、案例实战以及使用随机Key实现双重聚合解决数据倾斜注意事项等内容。30.4.1 什么是随机Key双重聚合？随机Key双重聚合是指：Spark分布式计算对RDD调用reduceByKey各算子进行计算，使用对Key

2017-07-13 06:02:52 2456 3

原创 Spark面试经典系列之数据倾斜解决方案的“银弹”是什么？本节我们对Spark数据倾斜解决方案进行回顾和总结

Spark面试经典系列之数据倾斜解决方案的“银弹”是什么？本节我们对Spark数据倾斜解决方案进行回顾和总结：1、数据倾斜运行的症状和危害。如果发行数据倾斜，往往发现作业任务运行特别缓慢，出现OOM内存溢出等现象。2、如果两个RDD进行操作，其中1个RDD数据不是那么多，我们把这个RDD的数据以广播变量的形式包裹起来，广播给整个Cluster集群。这样就可以和另外一个RDD进行map

2017-07-11 21:19:18 888

原创第139课： Spark面试经典系列之数据倾斜解决之对于两个RDD数据量都很大且倾斜的Key特别多如何解决？

第139课： Spark面试经典系列之数据倾斜解决之对于两个RDD数据量都很大且倾斜的Key特别多如何解决？如果两个RDD的数据量都特别大而且倾斜的Key特别多如何解决：数据量特别大就无法把其中的一个RDD广播出去；如果倾斜的Key值特别多，就无法采用分而治之等方法。例如微信上有海量的数据、淘宝上有海量的数据，如果进行全网扫描就可能遇到这种情况，因为热点特别多，有成千上万个热点。

2017-07-10 21:22:47 1368

原创 27.1.1.3 Spark SQL 中ANTLR4的应用

27.1.1.3 Spark SQL 中ANTLR4的应用ANTLR是一个强大的解析器生成器，可用于读取，处理，执行或翻译结构化文本或二进制文件。它广泛应用于学术界和工业界，建立各种语言，工具和框架。例如：Twitter搜索使用ANTLR进行查询解析，每天有超过2亿次查询。Hive和Pig语言，Hadoop的数据仓库和分析系统都使用ANTLR。Lex Machina使用ANTLR从法律文本中提取信

2017-07-08 21:25:25 6192

原创 Spark性能调优之数据倾斜调优一站式解决方案原理与实战

第29章Spark性能调优之数据倾斜调优一站式解决方案原理与实战29.1为什么说数据倾斜是分布式大数据系统的性能噩梦？大数据有基本的三个特性：第一个是数据多样化，有着不同类型的数据，其中包括结构化和非结构化数据；第二个就是庞大的数据量；第三就是数据的流动性，从批处理到流处理。一般在处理大数据的时候都会面对这三个特性的问题，而Spark就是基于内存的分布式计算引擎，以处理高效和稳定著称，是目前处理大

2017-07-05 20:47:15 2501 1