CC00040.pbpositions——|Hadoop&PB级数仓.V07|——|PB数仓.v08|ADS层数据导出|

yanqi_vip

已于 2022-04-12 17:53:39 修改

阅读量102

点赞数

分类专栏： bigdatav014——PB离线数仓文章标签： hive mysql 数据库大数据 python

于 2022-04-10 14:45:00 首次发布

不予转载

本文链接：https://blog.csdn.net/yanqi_vip/article/details/124090071

版权

本文介绍了如何使用DataX从Hadoop的大数据环境中导出PB级别的ADS层数据，并详细阐述了在MySQL中建表、创建JSON配置文件以及编写脚本的具体步骤。

摘要由CSDN通过智能技术生成

一、ADS层数据导出(DataX)

### --- 步骤：

~~~     在MySQL创建对应的表
~~~     创建配置文件(json)
~~~     执行命令，使用json配置文件；测试
~~~     编写执行脚本(shell)
~~~     shell脚本的测试

二、在mysql建表

### --- 语法：MySQL 建表

drop table if exists dwads.ads_ad_show_place;

create table dwads.ads_ad_show_place(
ad_action tinyint,
hour varchar(2),
place varchar(20),
product_id int,
cnt int,
dt varchar(10)
);

### --- 实例操作：mysql建表

mysql> drop table if exists dwads.ads_ad_show_place;
mysql> create table dwads.ads_ad_show_place(
    -> ad_action tinyint,
    -> hour varchar(2),
    -> place varchar(20),
    -> product_id int,
    -> cnt int,
    -> dt varchar(10)
    -> );

三、创建json配置文件