大数据
涯若
这个作者很懒,什么都没留下…
展开
-
Spark Streaming 指南--Spark2.4.3
目录总览快速入门基本概念连接初始化StreamingContext离散Streams(DStreams)输入DStreams和接收器基本数据源高级数据源Receiver的可靠性DStreams上的transformationsUpdateStateByKey 操作transformation操作window操作Join操作Stream-stream joinStream-dataset joinD...原创 2019-06-15 00:19:36 · 1390 阅读 · 0 评论 -
Spark SQL,DataFrame 和Datasets 指南--Spak2.4.3
目录SQLDatasets和DataFrame出发吧:SparkSession创建DataFrameUntyped Dataset操作(即DataFrame操作)SQL查询全局临时视图创建Dataset与RDD交互使用反射机制进行推理schema编程指定schema聚合ubtyped 用户自定义聚合函数类型安全的用户自定义聚合函数Spark SQL是一个结构化数据处理模块。不像Spark RDD...原创 2019-06-15 23:40:24 · 744 阅读 · 0 评论