sql练习进阶-sparksql语法区别

已于 2024-01-29 10:18:14 修改
阅读量2.5k 收藏 10
点赞数 3
分类专栏： # spark 文章标签： sparksql sql
于 2019-07-03 10:48:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43283487/article/details/93654651
版权

表和数据

/*
 Navicat Premium Data Transfer

 Source Server         : pdm
 Source Server Type    : MySQL
 Source Server Version : 50173
 Source Host           : 192.168.1.100:3306
 Source Schema         : test

 Target Server Type    : MySQL
 Target Server Version : 50173
 File Encoding         : 65001

 Date: 12/06/2019 11:05:31
*/

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for Course
-- ----------------------------
DROP TABLE IF EXISTS `Course`;
CREATE TABLE `Course`  (
  `CId` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `Cname` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `TId` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL
) ENGINE = MyISAM CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------
-- Records of Course
-- ----------------------------
INSERT INTO `Course` VALUES ('01', '语文', '02');
INSERT INTO `Course` VALUES ('02', '数学', '01');
INSERT INTO `Course` VALUES ('03', '英语', '03');

-- ----------------------------
-- Table structure for SC
-- ----------------------------
DROP TABLE IF EXISTS `SC`;
CREATE TABLE `SC`  (
  `SId` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `CId` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `score` decimal(18, 1) DEFAULT NULL
) ENGINE = MyISAM CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------
-- Records of SC
-- ----------------------------
INSERT INTO `SC` VALUES ('01', '01', 80.0);
INSERT INTO `SC` VALUES ('01', '02', 90.0);
INSERT INTO `SC` VALUES ('01', '03', 99.0);
INSERT INTO `SC` VALUES ('02', '01', 70.0);
INSERT INTO `SC` VALUES ('02', '02', 60.0);
INSERT INTO `SC` VALUES ('02', '03', 80.0);
INSERT INTO `SC` VALUES ('03', '01', 80.0);
INSERT INTO `SC` VALUES ('03', '02', 80.0);
INSERT INTO `SC` VALUES ('03', '03', 80.0);
INSERT INTO `SC` VALUES ('04', '01', 50.0);
INSERT INTO `SC` VALUES ('04', '02', 30.0);
INSERT INTO `SC` VALUES ('04', '03', 20.0);
INSERT INTO `SC` VALUES ('05', '01', 76.0);
INSERT INTO `SC` VALUES ('05', '02', 87.0);
INSERT INTO `SC` VALUES ('06', '01', 31.0);
INSERT INTO `SC` VALUES ('06', '03', 34.0);
INSERT INTO `SC` VALUES ('07', '02', 89.0);
INSERT INTO `SC` VALUES ('07', '03', 98.0);

-- ----------------------------
-- Table structure for Student
-- ----------------------------
DROP TABLE IF EXISTS `Student`;
CREATE TABLE `Student`  (
  `SId` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `Sname` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `Sage` datetime DEFAULT NULL,
  `Ssex` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL
) ENGINE = MyISAM CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------
-- Records of Student
-- ----------------------------
INSERT INTO `Student` VALUES ('01', '赵雷', '1990-01-01 00:00:00', '男');
INSERT INTO `Student` VALUES ('02', '钱电', '1990-12-21 00:00:00', '男');
INSERT INTO `Student` VALUES ('03', '孙风', '1990-12-20 00:00:00', '男');
INSERT INTO `Student` VALUES ('04', '李云', '1990-12-06 00:00:00', '男');
INSERT INTO `Student` VALUES ('05', '周梅', '1991-12-01 00:00:00', '女');
INSERT INTO `Student` VALUES ('06', '吴兰', '1992-01-01 00:00:00', '女');
INSERT INTO `Student` VALUES ('07', '郑竹', '1989-01-01 00:00:00', '女');
INSERT INTO `Student` VALUES ('09', '张三', '2017-12-20 00:00:00', '女');
INSERT INTO `Student` VALUES ('10', '李四', '2017-12-25 00:00:00', '女');
INSERT INTO `Student` VALUES ('11', '李四', '2012-06-06 00:00:00', '女');
INSERT INTO `Student` VALUES ('12', '赵六', '2013-06-13 00:00:00', '女');
INSERT INTO `Student` VALUES ('13', '孙七', '2014-06-01 00:00:00', '女');

-- ----------------------------
-- Table structure for Teacher
-- ----------------------------
DROP TABLE IF EXISTS `Teacher`;
CREATE TABLE `Teacher`  (
  `TId` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `Tname` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL
) ENGINE = MyISAM CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------
-- Records of Teacher
-- ----------------------------
INSERT INTO `Teacher` VALUES ('01', '张三');
INSERT INTO `Teacher` VALUES ('02', '李四');
INSERT INTO `Teacher` VALUES ('03', '王五');

SET FOREIGN_KEY_CHECKS = 1;

准备环境

val sc = new SparkSession
    .Builder()
      .appName("source_data_mysql001")
      .master("local")
      .getOrCreate()
    val url = "jdbc:mysql://192.168.1.100:3306/Strengthen"

    val SC = "SC"
    val df_SC = sc.read.jdbc(url, SC, dbConnProperties())

    df_SC.show() //使用一个action算子来检查是否能读取数据

1.1查询" 01 “课程比” 02 "课程成绩高的学生id及课程分数

val frame1 = sc.sql("select * from sc s1 inner join SC s2 " +
      "on s1.SId = s2.SId " +
      "where s1.CId = '01' and s2.CId = '02' and s1.score > s2.score")
    frame1.show()

1.1 查询同时存在" 01 “课程和” 02 "课程的情况

spark2是支持子查询的

   val frame = sc.sql("select * from sc s1 " +
      "where s1.SId in  " +
      "(select distinct(s2.SId) from sc s2 where s2.CId = '02') " +
      "and s1.CId = '01'")

    frame.show()
+---+---+-----+
|SId|CId|score|
+---+---+-----+
| 01| 01| 80.0|
| 05| 01| 76.0|
| 03| 01| 80.0|
| 02| 01| 70.0|
| 04| 01| 50.0|
+---+---+-----+

2.0语法和mysql感觉没啥区别，where和inner join on也是效果一样

val frame = sc.sql(
      "select * from sc s1,sc s2 " +
        "where s1.SId = s2.SId " +
        "and s1.CId = '01' " +
        "and s2.CId = '02' " +
        "order by s1.SId")
+---+---+-----+---+---+-----+
|SId|CId|score|SId|CId|score|
+---+---+-----+---+---+-----+
| 01| 01| 80.0| 01| 02| 90.0|
| 02| 01| 70.0| 02| 02| 60.0|
| 03| 01| 80.0| 03| 02| 80.0|
| 04| 01| 50.0| 04| 02| 30.0|
| 05| 01| 76.0| 05| 02| 87.0|
+---+---+-----+---+---+-----+

1.2 查询存在" 01 “课程但可能不存在” 02 "课程的情况(不存在时显示为 null )
重点在于之前的关于join on and 和where and的区别
on and 把02不存在的设置为null
where过滤只保留01课程

val frame = sc.sql("select * from sc s1 " +
      "left join sc s2 " +
      "on s1.SId = s2.SId " +
      "and s2.CId = '02' " +
      "where s1.CId = '01' order by s1.SId")
+---+---+-----+----+----+-----+
|SId|CId|score| SId| CId|score|
+---+---+-----+----+----+-----+
| 01| 01| 80.0|  01|  02| 90.0|
| 02| 01| 70.0|  02|  02| 60.0|
| 03| 01| 80.0|  03|  02| 80.0|
| 04| 01| 50.0|  04|  02| 30.0|
| 05| 01| 76.0|  05|  02| 87.0|
| 06| 01| 31.0|null|null| null|
+---+---+-----+----+----+-----+

1.3 查询不存在" 01 “课程但存在” 02 "课程的情况
join on and 和where and，然后过滤得到 is null
但是例如01,03都不存在，02存在，感觉有问题

 val frame = sc.sql("select * from sc s1 " +
      "left join sc s2 " +
      "on s1.SId = s2.SId " +
      "and s2.CId = '01' "+
      "where s1.CId = '02'  and s2.CId is null " +
      "order by s1.SId")
+---+---+-----+----+----+-----+
|SId|CId|score| SId| CId|score|
+---+---+-----+----+----+-----+
| 07| 02| 89.0|null|null| null|
+---+---+-----+----+----+-----+

val frame = sc.sql("select * from sc s1 " +
      "where s1.SId not in " +
      "(select SId from sc where sc.CId = '01') " +
      "and s1.CId = '02' " +
      "order by s1.SId")
|SId|CId|score|
+---+---+-----+
| 07| 02| 89.0|
+---+---+-----+

2 查询平均成绩大于等于 60 分的同学的学生编号和学生姓名和平均成绩
先查询在join，因为spark不可以在使用group by时查询没有出现在grou by 后面的字段

select stu.*,scavg.avg from stu join 
(selectSId,avg(sc.score) as avg from sc 
group by SId having avg(sc.score) >= 60) scavg  
on stu.SId = scavg.SId
+---+-----+-------------------+----+--------+
|SId|Sname|               Sage|Ssex|     avg|
+---+-----+-------------------+----+--------+
| 07| 郑竹|1989-01-01 00:00:00|  女|93.50000|
| 01| 赵雷|1990-01-01 00:00:00|  男|89.66667|
| 05| 周梅|1991-12-01 00:00:00|  女|81.50000|
| 03| 孙风|1990-12-20 00:00:00|  男|80.00000|
| 02| 钱电|1990-12-21 00:00:00|  男|70.00000|
+---+-----+-------------------+----+--------+

3 查询在 SC 表存在成绩的学生信息
子查询性能消耗太大，不建议，所以这样写

select stu.* from stu 
inner join (select distinct(SID) as id 
from sc where score is not null) sc 
on stu.SId = sc.id

+---+-----+-------------------+----+
|SId|Sname|               Sage|Ssex|
+---+-----+-------------------+----+
| 07| 郑竹|1989-01-01 00:00:00|  女|
| 01| 赵雷|1990-01-01 00:00:00|  男|
| 05| 周梅|1991-12-01 00:00:00|  女|
| 03| 孙风|1990-12-20 00:00:00|  男|
| 02| 钱电|1990-12-21 00:00:00|  男|
| 06| 吴兰|1992-01-01 00:00:00|  女|
| 04| 李云|1990-12-06 00:00:00|  男|
+---+-----+-------------------+----+

这样也行，建议第一种

select distinct(stu.*) from sc join stu 
on sc.SId = stu.SId 
where score is not null

4.1 查询所有同学的学生编号、学生姓名、选课总数、所有课程的总成绩(没成绩的显示为 null )

select stu.*,s.count,s.sum from stu 
left join 
(select SId,count(DISTINCT CId) as count,sum(score) as sum 
from sc group by SId) as s 
on stu.SId = s.SId 
order by stu.SId
+---+-----+-------------------+----+-----+-----+
|SId|Sname|               Sage|Ssex|count|  sum|
+---+-----+-------------------+----+-----+-----+
| 01| 赵雷|1990-01-01 00:00:00|  男|    3|269.0|
| 02| 钱电|1990-12-21 00:00:00|  男|    3|210.0|
| 03| 孙风|1990-12-20 00:00:00|  男|    3|240.0|
| 04| 李云|1990-12-06 00:00:00|  男|    3|100.0|
| 05| 周梅|1991-12-01 00:00:00|  女|    2|163.0|
| 06| 吴兰|1992-01-01 00:00:00|  女|    2| 65.0|
| 07| 郑竹|1989-01-01 00:00:00|  女|    2|187.0|
| 09| 张三|2017-12-20 00:00:00|  女| null| null|
| 10| 李四|2017-12-25 00:00:00|  女| null| null|
| 11| 李四|2012-06-06 00:00:00|  女| null| null|
| 12| 赵六|2013-06-13 00:00:00|  女| null| null|
| 13| 孙七|2014-06-01 00:00:00|  女| null| null|
+---+-----+-------------------+----+-----+-----+

4.2 没成绩显示为null

NVL(name,-1)若name为空，则返回-1，若name不为空值，则返回其自身

select stu.*,s.count,NVL(s.sum,0) as nvl from stu 
left join 
(select SId,count(DISTINCT CId) as count,sum(score) as sum 
from sc group by SId) as s 
on stu.SId = s.SId 
order by stu.SId
+---+-----+-------------------+----+-----+-----+
|SId|Sname|               Sage|Ssex|count|  nvl|
+---+-----+-------------------+----+-----+-----+
| 01| 赵雷|1990-01-01 00:00:00|  男|    3|269.0|
| 02| 钱电|1990-12-21 00:00:00|  男|    3|210.0|
| 03| 孙风|1990-12-20 00:00:00|  男|    3|240.0|
| 04| 李云|1990-12-06 00:00:00|  男|    3|100.0|
| 05| 周梅|1991-12-01 00:00:00|  女|    2|163.0|
| 06| 吴兰|1992-01-01 00:00:00|  女|    2| 65.0|
| 07| 郑竹|1989-01-01 00:00:00|  女|    2|187.0|
| 09| 张三|2017-12-20 00:00:00|  女| null|  0.0|
| 10| 李四|2017-12-25 00:00:00|  女| null|  0.0|
| 11| 李四|2012-06-06 00:00:00|  女| null|  0.0|
| 12| 赵六|2013-06-13 00:00:00|  女| null|  0.0|
| 13| 孙七|2014-06-01 00:00:00|  女| null|  0.0|
+---+-----+-------------------+----+-----+-----+

other

spark用group by 不能用 ，因为 包含了未进行分组的字段，mysql可以用*

    val frame = sc.sql(
      "select SId,avg(score) from sc " +
      "group by SId " +
      "having avg(score) > 80 " +
      "order by SId")
+---+----------+
|SId|avg(score)|
+---+----------+
| 01|  89.66667|
| 05|  81.50000|
| 07|  93.50000|
+---+----------+

支持limit，在order by 后使用

val frame = sc.sql(
      "select * from sc  " +
      "order by SId "+
    "limit 1")
+---+---+-----+
|SId|CId|score|
+---+---+-----+
| 01| 01| 80.0|
+---+---+-----+

但是不支持limit分页，mysql可以

select * from SC    order by SId  limit 1,10

row_number over 完成分页
以什么分组，组内按照那个字段排名

select *,Row_Number() over (partition by SId order by score) rank from SC where SId in('01','02') order by SId
+---+---+-----+----+
|SId|CId|score|rank|
+---+---+-----+----+
| 01| 02| 90.0|   2|
| 01| 01| 80.0|   1|
| 01| 03| 99.0|   3|
| 02| 02| 60.0|   1|
| 02| 01| 70.0|   2|
| 02| 03| 80.0|   3|
+---+---+-----+----+
+---+---+-----+----+

全局的排序分页

select *,Row_Number() over ( order by score) rank from SC where SId in('01','02') order by rank
+---+---+-----+----+
|SId|CId|score|rank|
+---+---+-----+----+
| 02| 02| 60.0|   1|
| 02| 01| 70.0|   2|
| 01| 01| 80.0|   3|
| 02| 03| 80.0|   4|
| 01| 02| 90.0|   5|
| 01| 03| 99.0|   6|
+---+---+-----+----+

spark 的 like

like '8%'
但是 like '李%' 就查不到

中文字符有问题
url我是这样写的

jdbc:mysql://192.168.1.100:3306/Strengthen

要加上

?useUnicode=true&characterEncoding=utf8
orange大数据技术探索者
关注
专栏目录
Flink重点难点：Flink Table&SQL必知必会(二)
微信搜：import_bigdata，大数据领域硬核原创作者
09-11 820
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜在阅读本文之前，你应该阅读过的系列：《Flink重点难点：时间、窗口和流Join》《Flink重点难点：网络流控和反压》《Flin...
大数据基础知识问答----spark篇
IT时代周刊
05-18 571
dfsSpark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。 1.Spark基础知识 1.Spark是什么？ UCBerkeley AMPlab所开源的类HadoopM...
Spark SQL练习
zhz的博客
06-02 3460
Spark SQL 实验目的 1.理解Spark SQL工作原理； 2.掌握Spark SQL使用方法。 实验内容 ​ 现有一份汽车销售记录（文件名：Cars.csv），销售记录包括时间、地点、邮政编码、车辆类型等信息，每条记录信息包含39项数据项。按步骤完成如下操作（建议在Spark-shell中完成）： ​ （1）将汽车销售记录上传至HDFS； ​ （2）使用编程方式定义RDD模式，提取月、市、区县、品牌、车辆类型、使用性质和数量7列，并定义相应Schema； ​ （3）将（2）的结果以json格式保
Spark SQL 和 传统 SQL 的区别
Han_Lin-的博客
01-18 7493
         Spark SQL 在 Spark1.x 中和传统 SQL 不完全一致。          但是在 Spark2.x 版本中遵循的美国的ANSI的SQL2003完全标准sql 。          oracle和mysql都有自己的语法规则，平时所使用的 SQL 语句都不是标准 SQL 。          平时用的 mysql 和 oracle 以及 hive，都是部分遵...
比较全面的spark_sql语法运用（直接看代码，速学速过）
最新发布
wan_qin6的博客
07-05 164
【代码】比较全面的spark_sql语法运用（直接看代码，速学速过）
SQL、Hive中的SQL和Spark中的SQL三者联系与区别
m0_70437378的博客
02-08 1754
SQL、Hive中的SQL和Spark中的SQL（即SparkSQL）都是用于处理和分析数据的查询语言，但它们在实现、性能、应用场景等方面存在一些明显的区别和联系。总结来说，SQL、Hive中的SQL和Spark中的SQL都是用于处理和分析数据的查询语言，但它们在实现、性能、应用场景等方面存在一些差异。Hive SQL更适合作为数据仓库工具提供基于SQL的查询功能，而Spark SQL更适合进行复杂的数据处理和分析任务。在实际应用中，可以根据具体的需求和场景选择合适的工具和查询语言。
Spark Sql 与 MySql 使用 group by 的差别
sinat_36231857的博客
03-26 2805
刚学Spark sql，今天在使用过程中遇到一个小问题。来分享一下。 在 navicat 中使用 group by 相关语句并没出错，但是在 squirrel sql 中报了如下错误： Error: org.apache.spark.sql.AnalysisException: expression 'XXX.`XXXX`' is neither present in the group by...
sparksql和mysql性能比较
pumbaa51203889的博客
06-16 2788
以下是在各个数据量级针对同个查询语句的消耗时间 select type,count(*) as count from test group by type order by count desc;   mysql 600W 3s sparksql 550W 5s   mysql 1000W 5.4s sparksql 1100W 6.3s   mysql 1900W 9.9s...
大数据分析工程师面试20题 ◀ SQL/SparkSql/HiveQL
给我一点温度
08-16 1340
大数据分析工程师80%的时间都在与SQL打交道，通过SQL完成业务方的各种临时性需求分析和常规性报表统计。熟练的SQL技能能够大大提高工作效率。本文将SQL/SparkSql/HiveQL放在一起来梳理一份常见题型的面试题库。 01 SQL基础知识考察 对于面试初级数据分析师来说，SQL的面试重点会放在基础知识的考察，如果最基本的基础概念和语法都不能熟练回答出来的话，通过面试的几率就...
每天一道大厂SQL题【Day13】微众银行真题实战(三)_编写sql语句,基于《借据表》统计2024年7月各产品逾期30天以上的余额不良率及
2401_84170337的博客
04-29 444
开发阶段，我们可以事先将表缓存起来，并且降低分区数比如为6，那么查缓存表大大提升了开发效率。duebill_id string comment ‘借据号’, uid string,) partitioned by (ds string comment ‘日期分区’);)partitioned by (ds string comment ‘日期分区’);–技巧：如果查询debt表，由于分区数太多，导致查询很慢。ds string comment ‘日期分区’– 上线阶段，再用实际表替换缓存表。
最新大数据24期+ 共十天+ 附课件源码（完整）
weixin_44654984的博客
03-02 2109
下载地址：百度网盘 课程目录： 大数据24期-01-JavaSE基础-15天 第一天： 01.什么是计算机软件 02.什么数据软件开发--利用编程语言来写剧本 03.什么是jdk--怎么安装jdk 03.什么是jdk--怎么安装jdk 04.安装启动eclipse 04.安装启动eclipse 05.配置eclipse的字体和布局 06.新建一个java的类的步骤 07.第一个java...
Mysql查询+hiveSQL查询+SparkSQL查询对比(个人总结)
qq_23669881的博客
10-23 3726
1.首先讲下Mysql吧,适用于实时性的查询,一般使用场景都是通过走B+树索引,来让查询效率维持在毫秒级。但是缺点也很明显,举个例子查询的量过大,有百万级别,Mysql直接OOM了。存在性能的瓶颈。而hiveSQL和sparkSQL的查询不存在这种问题，计算完成后的数据都是分布式存储的。 2.所以和Mysql对比,hiveSQL查询和sparkSQL查询都是分布式上的操作了,假设两种查询都是查询的hive表，hive表底层存储的数据方式依赖于HDFS(一个分布式的文件存储系统),hiveSQL会转化.
MySQL、HiveSQL、SparkSQL的区别
BaoZi969的博客
06-11 1722
MySQL和HiveSQL的语法比较相似，都是标准的SQL语言，但HiveSQL在SQL语法的基础上扩展了一些Hive特有的语法，如UDF函数、MapReduce任务等。MySQL和HiveSQL都支持常见的数据类型，例如整型、浮点型、字符串等，而SparkSQL还支持分布式数据类型，如RDD和DataFrame。2）HiveSQL是用于Hadoop平台上的一种SQL-like语言，主要用于对大数据进行查询和分析。Spark SQL则是基于SQL标准的语法进行扩展，比如添加了DataFrame的API。
SparkSql小项目练习题来了！趁热乎快来看！！！！
04-23 4984
题目 以下是RNG S8 8强赛失败后，官微发表道歉微博下一级评论 数据说明： rng_comment.txt文件中的数据： 1.1.在kafak中创建rng_comment主题，设置2个分区2个副本 bin/kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --replication-fact...
Spark SQL两道超经典练习题！必会！
m0_59737088的博客
08-10 1720
Spark SQL 练习题 题目1：有50W个京东店铺，每个顾客访客访问任何一个店铺的任何一个商品时都会产生一条访问日志，访问日志存储的表名为Visit，访客的用户id为user_id，被访问的店铺名称为shop，请统计： 1）每个店铺的UV（访客数） 2）每个店铺访问次数top3的访客信息。输出店铺名称、访客id、访问次数 数据参考：jd_visit.log文件 u1 a u2 b u1 b u1 a u3 c u4 b u1 a u2 c u5 b u4 b u6 c u2 c u1 b u2 a u
sql_50(sql版）
qq_37998450的博客
10-25 343
Mysql版本： mysql没有四大排名函数，需要自定义实现排序的功能 表名和字段 –1.学生表 Student(s_id,s_name,s_birth,s_sex) –学生编号,学生姓名, 出生年月,学生性别 –2.课程表 Course(c_id,c_name,t_id) – –课程编号, 课程名称, 教师编号 –3.教师表 Teacher(t_id,t_name) –教师编号...
SparkSQL练习+理解+详解
chun的博客
09-25 959
def main(args: Array[String]): Unit = { //创建配置对象 val conf = new SparkConf().setAppName("SparkSQL01_demo").setMaster("local[*]") val session = SparkSession.builder().config(conf).getOrCreat...
spark和mysql有什么区别
m0_57236802的博客
01-03 731
而Apache Spark并不直接存储数据，它处理的数据可以来自各种来源，如HDFS（Hadoop分布式文件系统）、Cassandra、HBase、Amazon S3等，数据模型主要包括RDD（弹性分布式数据集）和DataFrame。在一个典型的大数据架构中，可能会同时使用MySQL来存储业务数据，使用Apache Spark来进行大规模的数据处理和分析。Apache Spark是为了处理大规模数据而设计的，它可以在数千台机器上进行分布式计算，处理PB级别的数据。
spark sql 之 DSL风格 练习mysql50题
sun_0128的博客
08-16 3229
Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.2.0 /_/ Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_221) Type in expressions to ha.
spark学习-sparksql--04-sparksql cli 单节点运行与yarn集群运行
03-16
Spark学习-SparkSQL-04-SparkSQL CLI单节点运行与YARN集群运行 SparkSQL CLI是SparkSQL的命令行接口，可以在单节点模式下运行，也可以在YARN集群模式下运行。 在单节点模式下，可以通过以下命令启动SparkSQL CLI：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

orange大数据技术探索者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值