![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SQL
斯特凡今天也很帅
这个作者很懒,什么都没留下…
展开
-
sql题目练习
sql题目练习原创 2022-11-17 18:36:40 · 246 阅读 · 0 评论 -
Spark综合学习笔记(十八)SparkSQL数据抽象
学习致谢https://www.bilibili.com/video/BV1Xz4y1m7cv?p=53引言SparkCore的数据抽象:RDDSparkStreaming的数据抽象:DStream,底层是RDDSparkSQL的数据抽象:DataFrame和DataSet,底层是RDDDataFrame是什么DataFrame=RDD-泛型+Schema约束(指定了字段名和类型)+SQL操作+优化DataFrame就是在RDD的基础之上做了进一步的封装,支持SQL操作!DataFram原创 2021-11-25 12:04:10 · 6705 阅读 · 0 评论 -
Spark综合学习笔记(十七)SparkSQL概述
学习致谢:https://www.bilibili.com/video/BV1Xz4y1m7cv?p=52数据分析方式命令式缺点:有一定的学习成本/入门门槛优点:灵活!可以使用底层api实现很复杂的业务SQL优点:入门门槛低,只要会英文单词/简单的语法规则就可以写缺点:只能做一些简单的业务,负责业务实现起来就比较苦难SparkSQL的前世今生SparkSQL诞生从Spark框架1.0开始发布SparkSQL模块开发,直到1.3版本发布SparkSQL Release版本可以在生产环原创 2021-11-25 11:53:55 · 346 阅读 · 0 评论 -
Spark综合学习笔记(一)
1.Spark概述1.1spark发展历史2009年诞生2014成为Apache顶级项目2016发布2.02019发布3.02020九月份发布3.0.11.2使用现状1.3官网介绍spark是一个大数据领域统一的数据分析、计算、处理引擎1.3.1流行原因1.5组成模块补充:Hadoop和spark的对比...原创 2021-09-10 10:51:55 · 103 阅读 · 0 评论 -
使用group by 去重
distinct去重select count(distinct(column1)) from 表名 where column3=20210611;group by去重select column1, count(1)from 表名 where column3=20210611group by column1;原创 2021-06-16 17:31:52 · 4530 阅读 · 0 评论