mongodb源表到hive表的同步

Karma1670

已于 2022-01-21 14:26:09 修改

阅读量1k

点赞数

分类专栏： ETL/数据仓库/BI 文章标签： mongodb hive 数据库

于 2022-01-09 15:19:46 首次发布

本文链接：https://blog.csdn.net/u010794281/article/details/122394074

版权

本文档介绍了如何从MongoDB源表group3_mongo.appbehaviorpoint同步数据到Hive的目标表ods.appbehaviorpoint。当MongoDB源表新增字段时，需先删除Hive中间表，再重建。为避免NULL值，同步前需删除Hive目标表的相应分区，并在字段变更时使用cascade关键字。

摘要由CSDN通过智能技术生成

mongodb源表--->group3_mongo.appbehaviorpoint(hive) --->ods.appbehaviorpoint(hive)

group3_mongo.appbehaviorpoint 只是个mongodb到hive的映射

ods.appbehaviorpoint 才是真正的同步目标表

-----------------------------------------

-- 2022/02/22日更新

---

1.如果mongodb源表增加了字段,那么group3_mongo.appbehaviorpoint 需要先drop table 才行,然后再执行建表语句。

一.
drop table group3_mongo.appBehaviorPoint;
二.创建映射
create external table group3_mongo.appBehaviorPoint
(
    `_id` string,
    track_id string,
    anonymous_id string,
    distinct_id string,
    event string,
    type string,
    time string,
    app_id string,
    app_name string,
    app_version string,
    device_id string,
    is_first_day string,
    lib string,
    element_type string,
    lib_method string,
    lib_version string,
    manufacturer string,
    model string,
    network_type string,
    os string,
    longitude string,
    latitude string,
    os_version string,
    element_

最低0.47元/天解锁文章