使用spark向hive中插入数据,hive表是ORC表
spark.sql("insert overwrite table ods.ods_aaa partition(pt,id) \n" +
"select \n" +
"num,\n" +
"timestamp,\n" +
"date_formate(timestamp,'yyyy-MM-dd') as pt, \n" +
id + " id \n" +
"from bbb");
然后用SQL查询数量,结果是0
select count(*) from ods.ods_aaa;
然后查询数据,发现数据是164条
select * from ods.ods_aaa;
解决办法:在后面加 limit 1 解决
select count(*) from ods.ods_aaa limit 1;
文章描述了使用SparkSQL插入ORC表时遇到的查询计数异常,通过添加LIMIT解决,实际数据量为164条。
1241

被折叠的 条评论
为什么被折叠?



