mongodb源表到hive表的同步

本文档介绍了如何从MongoDB源表group3_mongo.appbehaviorpoint同步数据到Hive的目标表ods.appbehaviorpoint。当MongoDB源表新增字段时,需先删除Hive中间表,再重建。为避免NULL值,同步前需删除Hive目标表的相应分区,并在字段变更时使用cascade关键字。
摘要由CSDN通过智能技术生成

mongodb源表--->group3_mongo.appbehaviorpoint(hive) --->ods.appbehaviorpoint(hive)

group3_mongo.appbehaviorpoint 只是个mongodb到hive的映射

ods.appbehaviorpoint 才是真正的同步目标表

-----------------------------------------

-- 2022/02/22日更新

---

1.如果mongodb源表增加了字段,那么group3_mongo.appbehaviorpoint 需要先drop table 才行,然后再执行建表语句。

一.
drop table group3_mongo.appBehaviorPoint;
二.创建映射
create external table group3_mongo.appBehaviorPoint
(
    `_id` string,
    track_id string,
    anonymous_id string,
    distinct_id string,
    event string,
    type string,
    time string,
    app_id string,
    app_name string,
    app_version string,
    device_id string,
    is_first_day string,
    lib string,
    element_type string,
    lib_method string,
    lib_version string,
    manufacturer string,
    model string,
    network_type string,
    os string,
    longitude string,
    latitude string,
    os_version string,
    element_
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值