同一条sql语句 ，使用Spark Sql 和 hive Sql查询数据结果不一致

最新推荐文章于 2024-04-08 16:41:01 发布
最新推荐文章于 2024-04-08 16:41:01 发布
阅读量2.1k 收藏 4
点赞数
分类专栏： Spark优化 文章标签： spark hive sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41580613/article/details/120721888
版权

同一条sql语句 ，使用Spark Sql 和 hive Sql 查询数据结果不一致


1、sql语句
在这里插入图片描述
2、spark sql 执行结果
在这里插入图片描述
3、hive sql 执行结果
在这里插入图片描述
4、原因

Hive写入Parquet/Orc表时，实现了自己的一个SerDe，Spark觉的Hive的SerDe性能比较低，于是实现了自己的SerDe进行序列化和反序列化。因此碰到Parquet、Orc的表数据写入时，SparkSQL默认使用自己内部的SerDe。

5、解决方式

.config(“spark.sql.hive.convertMetastoreOrc”, “false”)

Tate小白
关注
专栏目录
hive中 count结果和spark sql中count结果不一致
yy的博客
08-20 1128
hive spark
【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL
欢迎来到我的博客，一起探索代码里的世界！
03-13 2949
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理，它的前身为Shark，在Spark 1.3.0版本后才成长为正式版，可以彻底摆脱之前Shark必须依赖HIVE的局面。
hive sql 语句查询规则
最新发布
学无止境
04-08 1086
注意：1、order by 会对输入做全局排序，因此只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。2、sort by不是全局排序，其在数据进入reducer前完成排序。因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sort by只保证每个reducer的输出有序，不保证全局有序。3、distribute by(字段)根据指定的字段将数据分到不同的reducer，且分发算法是hash散列。
hive sql和spark sql查询同一条SQL语句，结果不一样（甚至条数差别很大）的原因
helloxiaozhe的博客
03-11 3972
hive sql和spark sql查询同一条SQL语句，结果不一样（甚至条数差别很大）的原因 哪位老师帮忙看一下同一句sql,hive sql 查出来 160w ,但是spark sql (spark-shell或者spark.sql()) 查出来只有150w 0、结论：可以看下SQL 中 join on 两边的字段类型是否一致 我之前遇到这样的问题，发现on 条件 等号两边的字段类型不一致造成的 当 on 条件两边字段类型，一边是string，一边是bigint； 在hive中 会 把 st..
spark引擎与hive引擎查出来的数据不一致的情况，解决方法
lihaojie9047的博客
10-15 1819
在实际工作的情况中，经常有spark与hive查询出来的数据存在不一样的情况，基本的原因如下： 1、由于精度不一样导致的 2、更多的时候确实是由于元数据混乱导致的 （就是说hive中能读到这个字段的值，但是在spark中却无法读取到该字段的值。 很多时候可能还是由于大小写的混乱所导致的） ...
sparksql和hive读取结果不一致
遥望......
11-04 1378
sparksql读不到表内容，但是hive却是可以，后来排查到是因为hive表有多级目录，所以需要配置下sparksql参数： spark.sql.hive.convertMetastoreParquet=false mapred.input.dir.recursive=true 如果是hive可配置 mapreduce.input.fileinputformat.input.dir.recursive=true hive.mapred.supports.subdirectories=true
同一条sql语句 ，Spark Sql 和 hive shell 查询数据结果不一致。
林快乐的博客
03-14 6181
背景: hive表数据文件存储格式是parquet,存储在aliyun的oss存储中 问题描述: saprk sql程序读取结果: hive shell 数据读取结果: hive shell查询的结果是完整的. 数据的写入 通过spark 程序执行的，存入代码如下所示: udfService.register(map, df.sqlContext) df .withC...
Spark基础学习笔记27：Spark SQL数据源 - Hive表
howard2005的专栏
05-12 1060
利用Spark SQL读取和写入Hive表
Spark Sql中时间字段少8个小时问题解决
02-28
在使用Spark SQL将Hive表中的`timestamp`类型字段插入到另一个表中时，发现最终结果中的时间字段少了8个小时。具体操作如下： 1. **测试表1:** `test.app_exhibition_test_timestamp1` - 源表字段包括：`journal_...
python使用spark sql查询impala_[SQL]spark sql 直接查询hive或impala中的数据
weixin_32821579的博客
12-28 458
SparkSQL结合SparkStreaming，使用SQL完成实时计算中的数据统计 – lxw的大数据田地http://lxw1234.com/archives/2015/11/552.htmFlume+Kafka+SparkStreaming已经发展为一个比较成熟的实时日志收集与计算架构，利用Kafka，即可以支持将用于离线分析的数据流到HDFS，又可以同时支撑多个消费者实时消费数据，包括Sp...
十二、Spark SQL数据源 - Hive表
zlwm000的博客
06-17 2265
Spark SQL还支持读取和写入存储在Apache Hive中的数据。然而，由于Hive有大量依赖项，这些依赖项不包括在默认的Spark发行版中，如果在classpath上配置了这些Hive依赖项，Spark就会自动加载它们。需要注意的是，这些Hive依赖项必须出现在所有Worker节点上，因为它们需要访问Hive序列化和反序列化库（SerDes），以便访问存储在Hive中的数据。 在使用Hive时，必须实例化一个支持Hive的SparkSession对象。若系统中没有部署Hive，则仍然可以启用Hive
Hive 查询结果和insert结果不一致问题排查
zhy_2117的博客
06-19 3317
Hive 查询结果和insert结果不一致问题排查 1.起因 ​ 由于公司业务需要，在做近半年业务数据回补的时候，发现存在部分分区数据不符合业务需要，于是，很想当然的重跑脚本，结果发现该部分数据无法正确过滤； 2.问题描述 ​ 在对某张表进行操作的时候，发现where条件后面的 xx is not null 条件不能生效，即 我采用 select的方式能够得到正确的结果，但是，insert时产生的结果却不一致。 3.解决过程 ​ 在发现该问题后，首先觉得是is n...
hive表更改元数据之后未选择级联，在查询时spark引擎和hive/tez引擎查询结果不一致问题
a6822342的博客
05-11 1290
最近在工作中遇到一个问题：他人修改了数据表之后（加了两个字段，但是没有选择级联更改），用spark引擎查是可以查到数据，用tez/hive来查新增的两个字段的值是null值。 最后发现是分区的元数据和表的元数据不一致导致的，分区的元数据少了新增的两个字段，所以查出来数据是null。 下面是两段代码，分别查表的元数据信息和分区的元数据信息： #查表的元数据信息 desc table_name; #查对应分区的元数据信息 desc table_name partition(分区字段='分区值') 对比
同一个sql 在Hive和spark-sql 跑出结果不一样记录
xw514124202的博客
10-23 4416
表Schema hive> desc gdm.dim_category; name string 分类名称 org_code string ...
一次实践：spark查询hive速度缓慢原因分析并以此看到spark基础架构
热门推荐
小昌昌的博客
02-28 1万+
前一段时间数据挖掘组的同学向我返回说自己的一段pyspark代码执行非常缓慢，而代码本身非常简单，就是查询hive 一个视图中的数据，而且通过limit 10限制了数据量。 不说别的，先贴我的代码吧：from pyspark.sql import HiveContext from pyspark.sql.functions import * import json hc = HiveContext
spark和Hive统计结构不一样的问题解决
joomlaer的专栏
10-22 669
问题： select * from dws.dws_examplewhere dt = '2021-10-19' limit 10; 用Hive可以读取。 但是用spark-sql读取没有结果。 并且读取另外的分区， select * from dws.dws_examplewhere dt = '2021-10-19' limit 10; 都能读取到记录。 解决思路： 到hive里show create table 得到结果: | 'orc.compress'='S...
八种解决 Spark 数据倾斜的方法
Hadoop技术博文
06-03 1420
有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以...
hive查询时某些字段为null而用spark查询则正常
盛源的博客
05-30 1438
1 原因_01 spark写出数据到hive表时， 写出的字段名、字段类型、字段顺序必须与hive表一致， 否则可能出现用hive查询时某些字段为null， 用spark查询则正常；
spark-sql 与hive结果不一致
weixin_38751513的博客
11-20 2729
同一条sql,hive能生成表,而spark却生成的一张空表,或者数据缺少,存在null值,与hive结果不一致 设置 spark.sql.hive.convertMetastoreOrc=false convertMetastoreParquet=false 即可 原因: spark用自己的格式读取hive文件后进行自动转换后进行操作 官方说明 spark.sql.hive.convertM...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值