Hive explode & lateral view 使用

最新推荐文章于 2023-06-07 14:26:27 发布

Mr_myz

最新推荐文章于 2023-06-07 14:26:27 发布

阅读量574

点赞数 1

分类专栏： hive 文章标签： hive

本文链接：https://blog.csdn.net/Mr_myz/article/details/114370580

版权

本文介绍了在Hive中如何使用explode和lateral view处理数据，特别是面对Oracle到Hive的数据迁移，由于Kudu不支持这两个函数，所以需要在Hive阶段进行数据预处理。内容包括创建Hive内部表、explode函数的使用限制、Kudu表的创建与导入数据的注意事项，以及lateral view的参考链接。

摘要由CSDN通过智能技术生成

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

前言

提示：本次演示的是Oracle2hive，需要将 hive内的数据进行一个清洗，但是kudu表中不支持explode 跟 lateral view 这两个函数就想了个办法在hive的时候就将数据处理好，处理好的数据在加载到kudu中，！！！kudu这个数据库是列式存储的库需要依赖大数据很多的组件有兴趣的小伙伴可以看下哈

提示：以下是本篇文章正文内容，下面案例可供参考

一、创建hive内部表

--1.1.6.1 CREATE TABLE xmtm_ods_hive.DIM_DCSPECITEM_EXCEL
DROP TABLE IF EXISTS xmtm_ods_hive.DIM_DCSPECITEM_EXCEL;
CREATE TABLE xmtm_ods_hive.DIM_DCSPECITEM_EXCEL
( 
DCSPECNAME STRING,
FABNAME STRING,
TEMPFACTORYNAME STRING,
ITEMNAME STRING,
SITENAMES STRING,
SYS_SOURCE STRING,
DATATYPE STRING,
SITECOUNT STRING,
DCSPECVERSION STRING,
PROCESS_DTIME STRING,
FLAG_STATE STRING
)
row format delimited fie