![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark sql
文章平均质量分 87
spark sql
qq_duhai
好记性不如烂笔头...
展开
-
spark sql createOrReplaceTempView
spark sql 执行查询条件中带了YWDATE = '2022-09-30 00:00:00'之类的时间查询,spark sql会将'2022-09-30 00:00:00'处理成'2022-09-30 00:00:00.0',再去clickhouse中查询就会报错。spark sql中分为action算子和算子,action算子会立刻执行,算子不会。就算action。原创 2022-11-07 11:28:03 · 2460 阅读 · 0 评论 -
使用Spark SQL读取Hive上的数据
Spark SQL主要目的是使得用户可以在Spark上使用SQL,其数据源既可以是RDD,也可以是外部的数据源(比如Parquet、Hive、Json等)。Spark SQL的其中一个分支就是Spark on Hive,也就是使用Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑,可以近似认为仅将物理执行计划从MR作业替换成了Spark作业。本文就是来介绍如何通过Spark SQL来读取...转载 2019-12-23 10:07:51 · 6259 阅读 · 0 评论 -
SqlContext和HiveContext
SqlContext: 应该是对应spark-sql这个project; 与hive解耦,不支持hql查询;HiveContext:应该是对应spark-hive这个项目; 与hive有部分耦合, 支持hql,是SqlContext的子类,也就是说兼容SqlContext;SQLContext 是什么?SQLContext是通往SparkSQL的入口。下面是如何使用SparkContext...原创 2019-11-15 15:22:52 · 1470 阅读 · 0 评论 -
sparkSQL用jdbc访问mysql
<!-- spark --><dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>1.6.0</version></depe...转载 2019-11-15 09:47:20 · 179 阅读 · 0 评论