hbase数据同步到hive

最新推荐文章于 2024-06-28 12:43:09 发布

louq我想要的

最新推荐文章于 2024-06-28 12:43:09 发布

阅读量591

点赞数

文章标签： hive hbase sql

本文链接：https://blog.csdn.net/qq_35980423/article/details/119953961

版权

这篇博客介绍了如何在Hive中创建一个指向HBase外部表的SQL语句，特别强调了当字段数量超过175个时可能会导致查询错误。示例展示了如何映射HBase的data_detail_history表到Hive，并且当HBase中的数据变化时，Hive表也会相应更新。此外，还提到了数据的一致性问题，即HBase数据的增删直接影响到Hive中的数据。

摘要由CSDN通过智能技术生成

hbase中的表结构：

表：data_detail_history 列族：data 列：jssl-tgy_0000_00_07.........

在hive中写sql

注意：EXTERNAL表示HBase中已经存在了data_detail_history表；

映射字段最多只能有175个字段，超过175个字段，查询该表会报错

CREATE EXTERNAL TABLE hbase_jssl_tgy_history(
key string, 
code1 string,
code2 string,
version string,
framCycle string
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" =
":key,
data:jssl-tgy_0000_00_07,
data:jssl-tgy_0001_00_07,
data:jssl-tgy_0002_00_15,
data:jssl-tgy_0004_00_15,
data:jssl-tgy_0006_00_07")
TBLPROPERTIES ("hbase.table.name" = "data_detail_history","hbase.mapred.output.outputtable" = "data_detail_history");

hbase中有数据就会到hive中
hbase数据删除，hive中的数据也删除了！

参考：https://www.cnblogs.com/lojun/p/9703973.html