使用presto将数据从数据库导入monggo

一简介

本次为orcal导入mongo,将orcal替换为其他数据库也可,本次为增量导入,如果mongoDB存在就更新,不存在就插入

Presto版本:0.260
mongo :3.4.24
orcal :CORE 11.2.0.4.0
调度机需要有presto、mongo客户端

presto mongo连接器

二步骤

1. 通过presto在mongo创建表结构

CREATE TABLE IF NOT EXISTS orders (
    orderkey bigint,
    orderstatus varchar,
    totalprice double,
    orderdate date);

创建完表结构可在mongo数据表_schema中查到对应表结构


一定要注意目标数据库和presto各自支持的数据类型,取他们的交集类型,比如我要导出到monggoDB,需要在建表的时候注意不要用char,用varchar,presto不支持char导出

2. 在mongo创建表

切记不能先在monggoDB中建表
db.createCollection(“orders”);

如果_schema有错误,需使用presto删除:
DROP TABLE IF EXISTS mongo_zt_uat.platform_md.middle_f41003
然后从第一步开始

三问题

1.presro读取orcal的number类型时以decimal类型读入,可能会超长溢出,要在orcal进行小数长度限制