scala
斯特凡今天也很帅
这个作者很懒,什么都没留下…
展开
-
Spark综合学习笔记(三十三)Structured Streaming Source-Rate
学习致谢https://www.bilibili.com/video/BV1Xz4y1m7cv?p=71代码实现package structuredimport org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}/** * Author itcast * Desc 演示StructuredStreaming的SOURCE-Socket */object Demo02_Source_Socket { def原创 2021-12-09 12:11:00 · 162 阅读 · 0 评论 -
Spark综合学习笔记(三十二)Structured Streaming Source-Socket
Source分类https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html代码演示原创 2021-12-09 11:41:07 · 632 阅读 · 0 评论 -
Spark综合学习笔记(二十九)SparkSQL分布式SQL引擎
学习致谢https://www.bilibili.com/video/BV1Xz4y1m7cv?p=66说明Hive的SQL交互方式方式1∶交互式命令行(CLI)· bin/hive,编写SQL语句及DDL语句方式2: 启动服务HiveServer2 (Hive ThriftServer2)·将Hive当做一个服务启动(类似MySQL数据库,启动一个服务),端口为10000·交互式命令行,bin/beeline,CDH 版本HIVE建议使用此种方式,CLI方式过时· 2JDBC/ODBC方原创 2021-12-01 19:14:29 · 1640 阅读 · 0 评论 -
Spark综合学习笔记(二十六)SparkSQL实战8-UDF
学习致谢https://www.bilibili.com/video/BV1Xz4y1m7cv?p=63背景无论Hive还是SparkSQL分析处理数据时,往往需要使用函数,SparkSQL模块本身自带很多实现公共功能的函数,在org.apache.spark.sql.functions中。SparkSQL与Hive一样支持定义函数:UDF和UDAF,尤其是UDF函数在实际项目中使用最为广泛。·回顾Hive中自定义函数有三种类型:1: UDF (User-Defined-Function)函数一原创 2021-11-30 10:31:14 · 247 阅读 · 0 评论 -
Spark综合学习笔记(二十五)SparkSQL实战7-电影数据分析
学习致谢https://www.bilibili.com/video/BV1Xz4y1m7cv?p=63需求:对电影评分数据进行统计分析,分别使用DSL编程和5QL编程,获取电影平均分Top10,要求电影的评分次数大于200代码实现package sqlimport java.util.Propertiesimport org.apache.spark.sql.{DataFrame, Dataset, SaveMode, SparkSession}/** * Author itc原创 2021-11-30 09:42:41 · 1011 阅读 · 0 评论 -
Spark综合学习笔记(二十四)SparkSQL实战6-多数据源支持
学习致谢https://www.bilibili.com/video/BV1Xz4y1m7cv?p=61小节:读:spark.read.格式(路径)//底层spark.read.format(“格式”).load(路径)写:df.write…格式(路径) //df.write.format(“格式”).save(路径)代码实现package sqlimport java.util.Propertiesimport org.apache.spark.sql.{DataFrame, Da原创 2021-11-29 18:03:35 · 482 阅读 · 0 评论 -
Spark综合学习笔记(二十三)SparkSQL实战5-WordCount
学习致谢https://www.bilibili.com/video/BV1Xz4y1m7cv?p=60需求使用SparkSQL的SQL和DSL两种方式完成wordCount代码实现package sqlimport org.apache.spark.sql.{DataFrame, Dataset, SparkSession}/** * Author itcast * Desc 演示使用spark-SQL-使用SQL和DSL两种方式实现WordCount */object原创 2021-11-29 15:40:50 · 412 阅读 · 0 评论 -
Spark综合学习笔记(二十二)SparkSQL实战4-花式查询
SparkSQL花式查询在Spark5QL模块中,将结构化数据封装到DataFrame或Dataset集合中后,提供了两种方式分析处理数据:1、SQL编程,将DataFrame/Dataset注册为临时视图或表,编写SQL语句,类似HiveQL;2、DSL (domain-specific language)编程,(类似于面向对象)调用DataFrame/Dataset APIl(函数),类似RDD中函数;需求:针对personDF中的数据使用SQL和DSL两种方式进行各种查询运行结果原创 2021-11-29 14:18:21 · 548 阅读 · 0 评论