同一个sql 在Hive和spark-sql 跑出结果不一样记录

最新推荐文章于 2024-07-13 16:23:56 发布
最新推荐文章于 2024-07-13 16:23:56 发布
阅读量4.4k 收藏 4
点赞数 2
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xw514124202/article/details/83305309
版权
本文记录了一个问题，即相同的SQL在Hive和Spark-SQL中运行得到不同的结果。原因是Hive在join操作时将keyword字段转换为double类型，导致匹配失败，而在Spark-SQL中则没有此问题。解决方案未给出。
摘要由CSDN通过智能技术生成

表Schema

hive> desc gdm.dim_category;                                
name                    string         分类名称                                                   
org_code                string         分类code                             

hive> select name, org_code from gdm.dim_category limit 2;
OK
鞋     _8_
鞋/男  _8_21_

hive>
最低0.47元/天 解锁文章
阿武z
关注
专栏目录
【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL
欢迎来到我的博客，一起探索代码里的世界！
03-13 2946
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理，它的前身为Shark，在Spark 1.3.0版本后才成长为正式版，可以彻底摆脱之前Shark必须依赖HIVE的局面。
同一条sql语句 ，使用Spark Sql 和 hive Sql查询数据结果不一致
Tate的博客
10-12 2128
同一条sql语句 ，使用Spark Sql 和 hive shell 查询数据结果不一致 1、sql语句 2、spark sql 执行结果 3、hive sql 执行结果 4、原因 Hive写入Parquet/Orc表时，实现了自己的一个SerDe，Spark觉的Hive的SerDe性能比较低，于是实现了自己的SerDe。因此碰到Parquet、Orc的表数据写入时，SparkSQL默认使用自己内部的SerDe。 5、解决方式 .config(“spark.sql.hive.convertMetast
Spark SQL 读取hive分区表出现分区字段为null的情况
big_data1的博客
01-23 4245
今天在使用Spark SQL 读取hive分区表数据的时候，出现了下面的错误： 由于这个表是数仓维护提供给我使用的，我并不是很清楚表中数据的情况，于是我取查了一下这个表，发现分区字段pk_year，pk_month,pk_day这几个字段确实都存在为默认的情况： 在hive里面表可以创建成分区表，但是当分区字段的值是''"或者 null时 hive会自动将分区命名为默认分区名称。 ...
Spark 教程 - Hive SQL 迁移 Spark SQL 在网易传媒的实践
最新发布
qq_33240556的博客
07-13 442
网易传媒在将Hive SQL迁移到Spark SQL的实践中，采取了一系列措施以确保平滑过渡和性能优化。
hive 文件存储parquet格式, sparkSql解析部分字段为null
u012075079的专栏
09-27 6018
hive 版本2.1.0， hdfs 上同一份数据 （1） 用hive 建表， 部分字段hive 读取有值， sparksql读取值为null CREATE EXTERNAL TABLE business_log.rule_business_log2 (                            id bigint,                             bu
sparksql和hive读取结果不一致
遥望......
11-04 1374
sparksql读不到表内容，但是hive却是可以，后来排查到是因为hive表有多级目录，所以需要配置下sparksql参数： spark.sql.hive.convertMetastoreParquet=false mapred.input.dir.recursive=true 如果是hive可配置 mapreduce.input.fileinputformat.input.dir.recursive=true hive.mapred.supports.subdirectories=true
Spark的这些事<四>——SparkSQL功能测试结果
数据一哥，公众号：数据社
12-14 2278
一、Spark与Hive的差异（1）、in 不支持子查询（2.0支持https://issues.apache.org/jira/browse/SPARK-4226） eg: select * from tb_test1 where serv_number in (select serv_number from tb_test1 where serv_number=138);（2）、minus 不
spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址
05-22
在标题"spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址"中，我们关注的是Spark与Hive的特定版本（2.11）的集成，以及Spark SQL和Spark对Hadoop的支持。这里的2.11可能指的是Scala的版本，因为Spark是用...
编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar
06-23
spark-hive_2.11-2.3.0 spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0....
hive（spark-sql） -e -f -d以及传参数, sh并行
.
09-05 8791
1. 使用“spark-sql -e” 与“Hive”一样，Spark SQL CLI也支持“-e”参数 spark-sql-e "insert intotable ***" Spark-SQL导出查询结果到 results.txt spark-sql --num-executors 100 -e "select * from table" > results.txt ...
spark引擎与hive引擎查出来的数据不一致的情况，解决方法
lihaojie9047的博客
10-15 1817
在实际工作的情况中，经常有spark与hive查询出来的数据存在不一样的情况，基本的原因如下： 1、由于精度不一样导致的 2、更多的时候确实是由于元数据混乱导致的 （就是说hive中能读到这个字段的值，但是在spark中却无法读取到该字段的值。 很多时候可能还是由于大小写的混乱所导致的） ...
hive sql和spark sql查询同一条SQL语句，结果不一样（甚至条数差别很大）的原因
helloxiaozhe的博客
03-11 3971
hive sql和spark sql查询同一条SQL语句，结果不一样（甚至条数差别很大）的原因 哪位老师帮忙看一下同一句sql,hive sql 查出来 160w ,但是spark sql (spark-shell或者spark.sql()) 查出来只有150w 0、结论：可以看下SQL 中 join on 两边的字段类型是否一致 我之前遇到这样的问题，发现on 条件 等号两边的字段类型不一致造成的 当 on 条件两边字段类型，一边是string，一边是bigint； 在hive中 会 把 st..
hive的巧用：查询两个表中不一样的数据
CCESARE的博客
03-11 6194
一个有趣的SQL： select a.* FROM A a left outer join B b on a.qq = b.qq WHERE b.qq is null; 恩，很好。 WHERE b.qq is null; ......... ？？ 这不是查空得吗，查空的是干毛用啊？ 这是查A有B没有的数据。 什么意思呢？ 首先，我们先来看一下 left join 后是什么样的结果。画了一...
同一条sql语句 ，Spark Sql 和 hive shell 查询数据结果不一致。
林快乐的博客
03-14 6179
背景: hive表数据文件存储格式是parquet,存储在aliyun的oss存储中 问题描述: saprk sql程序读取结果: hive shell 数据读取结果: hive shell查询的结果是完整的. 数据的写入 通过spark 程序执行的，存入代码如下所示: udfService.register(map, df.sqlContext) df .withC...
spark-sql 与hive结果不一致
weixin_38751513的博客
11-20 2727
同一条sql,hive能生成表,而spark却生成的一张空表,或者数据缺少,存在null值,与hive结果不一致 设置 spark.sql.hive.convertMetastoreOrc=false convertMetastoreParquet=false 即可 原因: spark用自己的格式读取hive文件后进行自动转换后进行操作 官方说明 spark.sql.hive.convertM...
大数据学习之路87-SparkSQL的运行结果以不同方式写出,及加载
爱米酱的博客
10-06 338
我们可以将我们之前写的wordcount的结果写成各种格式： csv格式： 代码如下： package com.test.SparkSQL import org.apache.avro.generic.GenericData.StringType import org.apache.spark.rdd.RDD import org.apache.spark.sql.types._ imp...
spark-sql整合hive，在spark-sql命令和spark-shell命令下执行sql命令和整合调用hive
03-16
Spark SQL可以与Hive整合，以便在Spark SQL命令和Spark Shell命令下执行SQL命令和调用Hive。要实现这一点，需要在Spark配置中设置以下属性： 1. spark.sql.catalogImplementation=hive 2. spark.sql.warehouse.dir=hdfs://<hive_warehouse_directory> 这些属性告诉Spark使用Hive作为其元数据存储，并指定Hive仓库目录的位置。 在Spark SQL命令下执行SQL命令时，可以使用以下语法： ``` spark-sql> SELECT * FROM <database_name>.<table_name>; ``` 在Spark Shell命令下执行SQL命令时，可以使用以下语法： ``` spark.sql("SELECT * FROM <database_name>.<table_name>").show() ``` 要调用Hive，可以使用以下语法： ``` spark.sql("CREATE TABLE <table_name> (col1 INT, col2 STRING) USING hive") ``` 这将在Hive中创建一个新表。可以使用类似的语法来执行其他Hive操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值