![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 92
简映
这个作者很懒,什么都没留下…
展开
-
Spark聚合、连接、窗口函数
聚合groupBygroupBy 算子会按照列将 Dataset 分组, 并返回一个 RelationalGroupedDataset 对象, 通过 RelationalGroupedDataset 可以对分组进行聚合// 1 准备数据val spark = SparkSession.builder() .master("local[6]") .appName("aggre...原创 2020-03-12 13:47:40 · 576 阅读 · 0 评论 -
Dataset基本操作、Column对象、缺失值处理
DataSet(DataFrame)的基本操作有类型操作转换flatMap通过 flatMap 可以将一条数据转为一个数组, 后再展开这个数组放入 Datasetimport spark.implicits._val ds = Seq("hello world", "hello spark").toDS()ds.flatMap( _.split(" ") ).show()map...原创 2020-03-12 17:09:05 · 2650 阅读 · 0 评论 -
DataFrameReader、DataFrameWrite、Spark整合Hive、JDBC
数据读写初识 DataFrameReaderSparkSQL 的一个非常重要的目标就是完善数据读取, 所以 SparkSQL 中增加了一个新的框架, 专门用于读取外部数据源, 叫做 DataFrameReaderdef reader1(): Unit = { // 1. 创建 SparkSession val spark = SparkSession.builder() ...原创 2020-03-12 22:05:27 · 1112 阅读 · 0 评论 -
Structured Streaming基础入门
Structured Streaming1. 回顾和展望1.1. Spark 编程模型的进化过程RDDrdd.flatMap(_.split(" ")) .map((_, 1)) .reduceByKey(_ + _) .collect针对自定义数据对象进行处理, 可以处理任意类型的对象, 比较符合面向对象RDD 无法感知到数据的结构, 无法针对数据结构进行编程...原创 2020-03-13 18:59:06 · 840 阅读 · 0 评论