基于dolphinscheduler的增量数据同步至hive分区表
前言
本文主要介绍dolphinsccheduler集成datax以及hive后增量数据的集成问题
提示:以下是本篇文章正文内容,下面案例可供参考
一、创建新的hive分区表
1.外部分区表sql准备
示例:创建外部表
CREATE EXTERNAL TABLE `repair_bi`(
`id` INT COMMENT 'id',
`product_order_id` STRING COMMENT '产品序列号',
`RMA_id` STRING COMMENT 'RMA单号')
COMMENT 'This is the repair table'
partitioned by(`statis_date` string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION 'hdfs://nncluster/hivedata/repairdata/repair/'
2.创建工作流
3、将sql语句写入工作流中
4、保存选择租户,上线运行
5、任务实例中查看运行状态,状态:成功 即创建成功,可以通过hive的beeline客户端执行如下命令查看表创建详情
show create table repair_bi;
二、hive分区表创建好后需要增加分区,使用shell命令创建分区
注:本次使用shell工作流的原因是,dolphinscheduler集成的sql组件中在定位分区文件位置时候路径会解析错误。(也可能是我自己的问题没有找到正确的使用方式,但是sql在beeline中执行确实没问题)
1、添加每天的定时增加分区任务
创建hql文件并将hql文件上传至资源中心
repair_hive.hql 内容:
alter table repair_bi
add partition(statis_date='${statis_date}')
location '/hivedata/repairdata/repair/${statis_date}';
2、配置shell命令,使用hivevar的方式提交参数
hive -hivevar statis_date='${statis_date}' -S -f
hdfs://nncluster/data/dolphinscheduler/dolphinscheduler/resources/sql/repair_partition.hql
3、配置参数:
1)增加自定义变量
2)点击保存 并增加系统变量
参数定义如下:
* 后 N 年:$[add_months(yyyyMMdd,12*N)]
* 前 N 年:$[add_months(yyyyMMdd,-12*N)]
* 后 N 月:$[add_months(yyyyMMdd,N)]
* 前 N 月:$[add_months(yyyyMMdd,-N)]
* 后 N 周:$[yyyyMMdd+7*N]
* 前 N 周:$[yyyyMMdd-7*N]
* 后 N 天:$[yyyyMMdd+N]
* 前 N 天:$[yyyyMMdd-N]
* 后 N 小时:$[HHmmss+N/24]
* 前 N 小时:$[HHmmss-N/24]
* 后 N 分钟:$[HHmmss+N/24/60]
* 前 N 分钟:$[HHmmss-N/24/60]
4、上线运行即可,如下即分区创建成功
三、datax同步增量数据只分区中
1、创建datax工作流
2、配置datax任务
例:
{
"job": {
"setting": {
"speed": {
"channel": 1,
"byte": 1048576
},
"errorLimit": {
"record": 1000000,
"percentage": 0.3
}
},
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "###",
"password": "###",
"splitPk": "",
"connection": [
{
"querySql": [
"select coalesce(id,0) as id,coalesce(deviceserialnumber,'') as product_order_id,coalesce(rma,'') as RMA_id from v_rep_device_for_bi WHERE createtime = date_add(curdate(),interval'-1' DAY)"
],
"jdbcUrl": [
"jdbc:mysql://10.16.3.81:3306/smartHN"
]
}
]
}
},
"writer": {
"name": "hdfswriter",
"parameter": {
"column": [
{"name":"id","type":"INT"},
{"name":"product_order_id","type":"string"},
{"name":"RMA_id","type":"string"}
],
"compress": "gzip",
"defaultFS": "hdfs://node1:8020",
"fieldDelimiter": ",",
"fileName": "repair",
"fileType": "text",
"path": "/hivedata/repairdata/repair/${statis_date}",
"writeMode": "append"
}
}
}
]
}
}
3、保存,配置参数![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/555acb55865196235f068c0e0067d236.png#pic_center)
4、上线 执行
5、数据查看
1)、文件中查看
2)sql查询(使用beeline客户端或者在dolphinshceduler中配置测试任务流查询)
四、创建定时任务
依赖关系为:分区表创建后即可形成分区目录,然后再执行datax数据集成任务
1、创建分区表定时任务
工作流定义中增加定时,编辑,定时设置为每天00:05执行增加昨天分区数据
2、点击上图中右侧中间上线 即可上线分区定时任务
3、创建datax定时任务
4、上线datax数据集成任务
总结
总体而言还是比较方便的实现增量数据的调度任务