背景:mysql表需要每小时同步当天的数据到dws表。系统是linux,网络是专用网络,没权限安装其他etl工具。
思路:使用shell封装原始的数据库命令和linux命令完成数据迁移。
#!/bin/bash
#每小时增量接入表
yday=`date -d -1hours "+%Y-%m-%d %H:%M:%S"`
yday=${yday: 0: 10} #拿到当前时间的前1个小时的日期
tday=
背景:mysql表需要每小时同步当天的数据到dws表。系统是linux,网络是专用网络,没权限安装其他etl工具。
思路:使用shell封装原始的数据库命令和linux命令完成数据迁移。
#!/bin/bash
#每小时增量接入表
yday=`date -d -1hours "+%Y-%m-%d %H:%M:%S"`
yday=${yday: 0: 10} #拿到当前时间的前1个小时的日期
tday=