![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
小朋友2D
nobody
展开
-
Spark SQL关于minus的问题记录
今天写了一个曲折的SQL,大概是这样-- 有可能是我给人家写复杂了withorg_year_view as( select distinct org, year from A)select *from Aminus-- find data that cannot be used because of missing data in formula select f....原创 2019-11-29 11:22:16 · 1273 阅读 · 0 评论 -
深入理解SparkSession(未完成)
文章目录版本变化spark1.xspark2.x与SparkContext的区别和联系区别联系SparkSession的作用功能简述成员属性简述版本变化spark1.x在Spark1.6中使用的为Hive on spark,主要是依赖hive生成spark程序,有两个核心组件SQLcontext和HiveContext。// 创建SparkConfval sparkConf = new ...原创 2019-07-12 11:32:53 · 715 阅读 · 0 评论 -
Spark的HashShuffleManager与SortShuffleManager原理
调优概述大多数Spark作业的性能主要就是消耗在了shuffle环节,因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此,如果要让作业的性能更上一层楼,就有必要对shuffle过程进行调优。但是也必须提醒大家的是,影响一个Spark作业性能的因素,主要还是代码开发、资源参数以及数据倾斜,shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优的基本...转载 2019-07-11 22:39:58 · 385 阅读 · 0 评论 -
SQL在Spark的解析过程(三)
文章目录全阶段代码生成阶段 - WholeStageCodegen为什么需要代码生成表达式代码生成(expression codegen)全阶段代码生成(Whole-stage Code Generation)代码编译SQL 执行全阶段代码生成阶段 - WholeStageCodegen前面我们已经介绍了从逻辑计划生成物理计划(Physical Plan),但是这个物理计划还是不能直接交给 S...转载 2019-07-06 11:35:04 · 829 阅读 · 0 评论 -
SQL在Spark的解析过程(二)
文章目录优化逻辑计划阶段 - Optimizer谓词下推列裁剪常量替换常量累加生成可执行的物理计划阶段 - SparkPlanner优化逻辑计划阶段 - Optimizer在前文的绑定逻辑计划阶段对 Unresolved LogicalPlan 进行相关 transform 操作得到了 Analyzed Logical Plan,这个 Analyzed Logical Plan 是可以直接转换...转载 2019-07-06 11:22:04 · 782 阅读 · 0 评论 -
SQL在Spark的解析过程(一)
文章目录一条SQL在Spark之旅SQL 解析阶段 - SparkSqlParser绑定逻辑计划阶段 - AnalyzerSpark SQL 是 Spark 众多组件中技术最复杂的组件之一,它同时支持 SQL 查询和 DataFrame DSL。通过引入了 SQL 的支持,大大降低了开发人员的学习和使用成本。目前,整个 SQL 、Spark ML、Spark Graph 以及 Structure...转载 2019-07-06 10:58:11 · 1456 阅读 · 0 评论 -
Spark分组排序TopN
文章目录数据源目标解决方法spark corespark core数据源# f://data.txt# className, studentName, scorec1 a 85c2 b 77c3 c 88c1 d 22c1 e 66c3 f 95c3 g 54c2 h 91c2 i 66c1 j 54c1 k 65c2 l 41c4 m 65目标对班级进行分组...原创 2019-06-27 15:22:58 · 1172 阅读 · 1 评论 -
深入理解SparkEnv
SparkEnv.scala注释SparkEnv.scalaprivate[spark] def createDriverEnv( conf: SparkConf, isLocal: Boolean, ... // 每个executor中的core的数量 numCores: Int, ... create( ...原创 2019-06-12 00:22:46 · 624 阅读 · 0 评论 -
Spark on Yarn的内存分配
文章目录1 初始化配置2 ApplicationMaster(AM)的相关配置2.1 amMemory2.2 amMemoryOverhead1 初始化配置// 初始化yarn clientprivate val yarnClient = YarnClient.createYarnClient// 初始化hadoop配置private val hadoopConf = new YarnC...原创 2019-06-12 23:34:15 · 570 阅读 · 0 评论 -
Spark的内存管理
文章目录回顾MemoryManager抽象父类官方描述内存池StaticMemoryManager,静态内存管理官方描述StaticMemoryManager伴生对象存储空间分配执行空间分配StaticMemoryManager类构造器堆外内存重新分配UnifiedMemoryManager,统一内存管理回顾在深入理解SparkEnv一文中,无论是driver或者是executor,在申请内存...原创 2019-06-12 17:29:17 · 194 阅读 · 0 评论 -
SparkSQL访问Hive遇到的问题及解决方法
需要先将hadoop的core-site.xml,hive的hive-site.xml拷贝到project中测试代码def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession .builder() .appName("TopNApp") .master(...原创 2019-05-30 12:33:52 · 4813 阅读 · 0 评论 -
spark2.4.3变化、编译过程以及异常处理
spark2.4.3发布于2019.05.07发布日志spark2.4.3版本是一个维护性版本,在稳定性上做了修正。该版本是基于2.4分支的maintenance分支进行的开发,官方强烈推荐2.4用户升级到该版本。spark2.4.3将scala的默认版本从scala2.12换成了2.11,scala2.11也是之前2.x版本使用的默认scala版本,不过只有2.4.2的使用了scala2...原创 2019-05-17 18:34:45 · 2473 阅读 · 4 评论 -
spark集群模式的概述(cluster mode overview)
文章来自http://spark.apache.org/docs/latest/cluster-overview.htmlComponentspark应用程序以独立进程的集合的方式运行在集群中,通过driver program中的SparkContext对象进行协调。SparkContext能够连接多种不同类型的cluster manager(如standalone,mesos,yarn)...翻译 2019-05-17 14:36:41 · 661 阅读 · 0 评论 -
深入了解Spark RDD(未完成)
概述 RDD(Resilient Distributed Dataset,弹性分布式数据集),是spark最基本的抽象数据类型。用来表示一个不可变的,多分区的,可以并行操作的元素集合。 其中,PairRDDFunctions包含的算子只能被键值对RDD调用所以类似(1,2,3)是无法调用的 DoubleRDDFunctions包含的算子只能被元素内均为Double类型的RDD调用 当基本的...原创 2019-05-21 17:35:50 · 259 阅读 · 0 评论