使用presto将数据从数据库导入monggo
一简介
本次为orcal导入mongo,将orcal替换为其他数据库也可,本次为增量导入,如果mongoDB存在就更新,不存在就插入
Presto版本:0.260
mongo :3.4.24
orcal :CORE 11.2.0.4.0
调度机需要有presto、mongo客户端
二步骤
1. 通过presto在mongo创建表结构
CREATE TABLE IF NOT EXISTS orders (
orderkey bigint,
orderstatus varchar,
totalprice double,
orderdate date);
创建完表结构可在mongo数据表_schema中查到对应表结构
一定要注意目标数据库和presto各自支持的数据类型,取他们的交集类型,比如我要导出到monggoDB,需要在建表的时候注意不要用char,用varchar,presto不支持char导出
2. 在mongo创建表
切记不能先在monggoDB中建表
db.createCollection(“orders”);
如果_schema有错误,需使用presto删除:
DROP TABLE IF EXISTS mongo_zt_uat.platform_md.middle_f41003
然后从第一步开始