![](https://img-blog.csdnimg.cn/20200731102347510.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark
以最使用的方式,展示语言特性
Splicing
这个作者很懒,什么都没留下…
展开
-
Spark SQL 从入门到精通 - Spark SQL 行转列、列转行案例
Spark PIOVT、UNPIOVT 方案案例原创 2022-06-29 17:01:44 · 2254 阅读 · 0 评论 -
Spark DSL各场景解决方案 - 汇总
1、DSL 字段数据类型转换。val session = SparkSession.builder() .appName(this.getClass.getSimpleName).master("local[2]") .getOrCreate()val nameRDD: RDD[String] = session.sparkContext.makeRDD(Array( """ |{"name":"zhangsan","age":"18"} """.stripM原创 2021-06-07 14:31:56 · 534 阅读 · 0 评论 -
Spark从入门到精通 -Transformations与 Actions 算子
Transformationsmap(func) 、filter(func) 、flatMap(func)、mapPartitions(func)、mapPartitionsWithIndex(func)、sample(withReplacement, fraction, seed)、union(otherDataset)、intersection(otherDataset)、distinct([numPartitions]))、groupByKey([numPartitions])、reduceByKe原创 2021-04-06 15:27:08 · 107 阅读 · 0 评论 -
Spark SQL 从入门到精通 - Spark SQL内置函数 (一)
Spark SQL 内置函数详解Spark SQL 官方内置函数 地址原创 2021-03-22 09:07:50 · 173 阅读 · 0 评论 -
Spark 自定义 重分区 Scala 实现
Spark 自定义 重分区import org.apache.spark.Partitionerclass MyPartition(numPartition: Int) extends Partitioner{ override def numPartitions: Int = numPartition override def getPartition(key: Any): Int = key match { case null => 0 case _ =>原创 2021-01-06 15:52:07 · 270 阅读 · 0 评论 -
Spark 算子详解,常用算子汇总
从大方向来说,Spark 算子大致可以分为以下两类: 1)Transformation 变换/转换算子:这种变换并不触发提交作业,完成作业中间过程处理。 2)Action 行动算子:这类算子会触发 SparkContext 提交 Job 作业。从小方向来说,Spark 算子大致可以分为以下三类: 1)Value数据类型的Transformation算子 2)Key-Value数据类型的Transfromation算子 3)Action算子Map 类算子1、map、flatMap、map原创 2021-01-04 15:05:23 · 1182 阅读 · 0 评论 -
Spark SQL 算子详解
1、.show()show(numRows: Int) -- 显示numRows条show(truncate: Boolean) -- 是否最多只显示20个字符,默认为trueshow(numRows: Int, truncate: Boolean) --综合前面的显示记录条数,以及对过长字符串的显示格式2、first, head, take, takeAsList:获取若干行记录这里列出的四个方法比较类似,其中 (1)first获取第一行记录 (2)head获取第原创 2020-11-05 18:12:52 · 1076 阅读 · 0 评论 -
Spark SQL函数 对比 Oracle SQL函数 备忘录
0、逻辑查询的各个阶段 执行顺序T-SQL逻辑查询的各个阶段(编号代表顺序)(5)SELECT DISTINCT TOP(<top_specification>) <select_list> (1)FROM <left_table> <join_type> JOIN <right_table> ON <on_predicate> (2)WHERE <where_predicate&原创 2020-11-05 17:07:24 · 664 阅读 · 0 评论 -
创建DataFrame的几种方式(以及解决乱码的问题)
SparkSQL的数据源可以是JSON类型的字符串,JDBC,Parquent,Hive,HDFS等。SparkSQL底层架构首先拿到sql后解析一批未被解决的逻辑计划,再经过分析得到分析后的逻辑计划,再经过一批优化规则转换成一批最佳优化的逻辑计划,再经过SparkPlanner的策略转化成一批物理计划,随后经过消费模型转换成一个个的Spark任务执行。1、读取json格式的文件创建DataFrame//json文件中的json数据不能嵌套json格式数据。//DataFrame是一个一个Ro原创 2020-09-02 16:51:15 · 1664 阅读 · 2 评论