【etl】shell脚本实现mysql到dws的数据迁移

本文介绍了在Linux环境下,如何使用shell脚本每小时迁移MySQL中的当天数据到DWS系统。过程中遇到的问题包括时间同步不准确导致的数据丢失,以及通过调整SQL查询时间与Linux时间解决此问题的经验分享。
摘要由CSDN通过智能技术生成

背景:mysql表需要每小时同步当天的数据到dws表。系统是linux,网络是专用网络,没权限安装其他etl工具。
思路:使用shell封装原始的数据库命令和linux命令完成数据迁移。

#!/bin/bash

#每小时增量接入表
yday=`date -d -1hours "+%Y-%m-%d %H:%M:%S"`
yday=${yday: 0: 10}		#拿到当前时间的前1个小时的日期
tday=
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值