spark和hive在一些函数上的不同

已于 2022-07-29 17:35:20 修改
阅读量495 收藏
点赞数
分类专栏： hive spark 文章标签： hive spark 大数据
于 2022-07-29 17:15:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34224565/article/details/126059989
版权
spark 同时被 2 个专栏收录
53 篇文章 2 订阅
订阅专栏
hive
31 篇文章 4 订阅
订阅专栏

com

spark和hive在一些函数，尤其是时间处理函数上有不同，
hive：2.0.1
spark：3.0.3

date_sub

date_sub函数，在hive 2.1.0之前的版本，返回的是String，但是在spark3.0.3，返回的是date对象，所以用date_sub的结果转时间戳的时候，就会有问题。因为date对象肯定是带时分秒毫秒的。
统一的方式就是把date_sub的结果用cast转成string，然后再用unix_timestamp转时间戳。

unix_timestamp

unix_timestamp(参数，格式)
当参数跟格式不匹配时，比如参数为2022-07-24 01:00:07.0，格式为yyyy-mm-dd。spark会报错，hive则会正常返回。
只有参数跟格式刚好匹配，spark的才行

zdkdchao
关注
专栏目录
拾肆：Spark with Hive和Hive on Spark
someInNeed的博客
01-13 1370
在 Hive 与 Spark 这对“万金油”组合中，Hive 擅长元数据管理，而 Spark 的专长是高效的分布式计算，二者的结合可谓是“强强联合”。今天这一讲，我们就来聊一聊 Spark 与 Hive 集成的两类方式，一类是从 Spark 的视角出发，我们称之为 Spark with Hive；而另一类，则是从 Hive 的视角出发，业界的通俗说法是：Hive on Spark。 当 Hive 采用 Spark 作为底层的计算引擎时，我们就把这种集成方式称作“Hiv...
【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL
欢迎来到我的博客，一起探索代码里的世界！
03-13 2988
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理，它的前身为Shark，在Spark 1.3.0版本后才成长为正式版，可以彻底摆脱之前Shark必须依赖HIVE的局面。
spark和Hive统计结构不一样的问题解决
joomlaer的专栏
10-22 678
问题： select * from dws.dws_examplewhere dt = '2021-10-19' limit 10; 用Hive可以读取。 但是用spark-sql读取没有结果。 并且读取另外的分区， select * from dws.dws_examplewhere dt = '2021-10-19' limit 10; 都能读取到记录。 解决思路： 到hive里show create table 得到结果: | 'orc.compress'='S...
Spark和Hive中时间计算的差别
LvJinYang的博客
09-04 709
Spark和Hive中时间计算的差别 String beginTimeSql = "select from_unixtime(unix_timestamp(date_sub('"+invokeBean.getBusinessDate()+"',"+value+"-1 ),'yyyy-mm-dd'),'yyyymmdd')"; hive： select from_unixtime(unix_timestamp(date_sub('2020-07-15',60-1 ),'yyyy-mm-dd'),'yyyy
spark3.0-新特性
program哲学
06-27 1万+
spark 3.0 终于出了！！！ Apache Spark 3.0.0是3.x系列的第一个发行版。投票于2020年6月10日获得通过。此版本基于git标签v3.0.0，其中包括截至6月10日的所有提交。Apache Spark 3.0建立在Spark 2.x的许多创新基础之上，带来了新的想法并持续了很长时间。正在开发的长期项目。在开源社区的巨大贡献的帮助下，由于440多位贡献者的贡献，此发行版解决了3400多张门票。 今年是Spark作为开源项目10周年。自2010年首次发布以来，Spark已经发展成为最
hive和spark-sql中 日期和时间相关函数 测试对比
helloxiaozhe的博客
11-12 1971
hive和spark-sql中 日期和时间相关函数 测试对比
pyspark函数
zyh2278948035的博客
08-07 152
F.from_unixtime(finishtime)将Unix时间戳转化为指定格式（yyyy-MM-dd）date类型。F.date_sub(end, days)=end - days 把指定的日期减去一个固定的天数得到一个新date。F.datediff(end, start) = end -start 计算两个日期之间相差的天数。F.current_date()获取当前日期。
Spark不能使用hive自定义函数.doc
03-06
4. **配置 Spark Session**：在创建 SparkSession 时，可以通过 `enableHiveSupport()` 方法启用对 Hive 的支持，这样可以确保 Spark 能够访问 Hive 元数据和服务，从而能够使用 Hive UDF。 ```java SparkSession ...
交互式数据分析包括脚本开发任务提交(Spark, Hive)UDF函数资源管理和智能诊断
最新发布
04-03
在Spark和Hive中，用户可以创建自己的函数，比如处理特定的数据格式或执行复杂的逻辑运算。UDF提高了数据分析的灵活性，使Scriptis能处理更广泛的分析任务。 5. **资源管理**：在处理大数据时，有效管理计算资源至...
Spark之hive的UDF自定义函数
九师兄
07-04 7731
1.简单的 package com.llcc.sparkSql.MyTimeSort import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.hive.HiveContext object UDFDemo1 { def main(args:Array[String]):Unit = { val conf = new SparkConf().setAppName("aa") val .
SQL与spark.sql时间处理格式不一致的问题
qq_37395293的博客
01-20 2922
起因 这应该是一个非常常见的bug，事情起因如下： 我们在sql中需要让某个日期往前推三天，所以在sql中我使用了如下语句 select date_sub(tdbank_imp_date, 7) as tdbank_imp_date from table 该语句在sql中运行正常，也得到了预期的结果 之后我们把代码贴到saprk.sql中运行 发现变为了空值 原因 其原是日期格式的问题，YYYYMMDD这种格式对于sql和spark.sql来说都是不规范的，但是在sql中这种不规范被漫长的版本迭代中给容错
hive sql 和 spark sql的区别
MDJ_D2T的博客
10-18 2万+
要知道两种sql的区别，先要知道什么是hive，什么是spark 一、什么是hive，什么是spark （一）hive 1、hive在hadoop中承担了多种角色，每种角色承担特定的功能。 定语 角色 作用 优点 基于Hadoop的数仓工具 查询引擎 可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转化为MapReduce任务进行运行 学习成本低，可以通过类sql语句执行统计，不必开发专门的MapReduce应用 建立于Hadoop上的数据仓库基础架
spark on hive & hive on spark的区别
xuehuagongzi000的博客
05-12 3939
Spark on Hive ：数据源是：hiveSpark 获取hive中的数据，然后进行SparkSQL的操作（hive只是作为一个spark的数据源）。 spark on hive : 是spark 通过spark-sql 使用hive 语句操作hive ,底层运行的还是 spark rdd. *（1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息 * （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 * （3）接下来就...
Spark SQL介绍和特点
qq_43688472的博客
12-28 2148
一：Spark SQL的简介 Spark SQL是Spark处理数据的一个模块，跟基本的Spark RDD的API不同，Spark SQL中提供的接口将会提供给Spark更多关于结构化数据和计算的信息。其本质是，Spark SQL使用这些额外的信息去执行额外的优化，这儿有几种和Spark SQL进行交互的方法，包括SQL和Dataset API，当使用相同的执行引擎时，API或其它语言对于计算的表...
HIVE和SPARK的区别
热门推荐
woshimeilinda的博客
05-02 2万+
spark hive区别 一:Hive本质是是什么 1：hive是分布式又是数据仓库，同时又是查询引擎，Spark SQL只是取代的HIVE的查询引擎这一部分，企业一般使用Hive+spark SQL进行开发 2：hive的主要工作 1> 把HQL翻译长map-reduce的代码，并且有可能产生很多mapreduce的job 2> 把生产的Mapreduce代码及相关资源打...
同一个sql 在Hive和spark-sql 跑出结果不一样记录
xw514124202的博客
10-23 4427
表Schema hive> desc gdm.dim_category; name string 分类名称 org_code string ...
spark-sql 与hive结果不一致
weixin_38751513的博客
11-20 2747
同一条sql,hive能生成表,而spark却生成的一张空表,或者数据缺少,存在null值,与hive结果不一致 设置 spark.sql.hive.convertMetastoreOrc=false convertMetastoreParquet=false 即可 原因: spark用自己的格式读取hive文件后进行自动转换后进行操作 官方说明 spark.sql.hive.convertM...
sparksql和hive读取结果不一致
遥望......
11-04 1386
sparksql读不到表内容，但是hive却是可以，后来排查到是因为hive表有多级目录，所以需要配置下sparksql参数： spark.sql.hive.convertMetastoreParquet=false mapred.input.dir.recursive=true 如果是hive可配置 mapreduce.input.fileinputformat.input.dir.recursive=true hive.mapred.supports.subdirectories=true
spark sql和hive中的函数（三）：时间函数
06-28
时间函数是Spark SQL和Hive中常用的函数之一，用于处理时间类型的数据。常见的时间函数包括： 1. year/month/day/hour/minute/second：获取时间的年/月/日/小时/分钟/秒。 2. date_format：将时间格式化为指定的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值