shell mysql数据实时同步脚本

最新推荐文章于 2024-08-02 02:01:46 发布

jjshouji

最新推荐文章于 2024-08-02 02:01:46 发布

阅读量6.2k

点赞数

分类专栏： Shell 文章标签： shell 数据同步

本文链接：https://blog.csdn.net/jjshouji/article/details/79431946

版权

为满足公司报表实时更新需求，通过Shell脚本结合crontab或while循环实现与数据仓库的增量数据同步。考虑到业务系统存在物理删除，脚本需监控并处理删除操作。虽可用Otter工具，但鉴于资源和表数量有限，选择自建简单脚本。

摘要由CSDN通过智能技术生成

1. 背景

公司大佬需要报表实时更新，从业务报表同步到数据仓库，可根据需要设置同步时间几个crontab 或者while true,用shell脚本获取增量数据，实时更新，业务系统存在物理删除的场景，这就需要去监控业务库删除操作，自己写了粗糙的脚本。本来是可以用otter 工具同步实现，但是好资源，我们也就只有几张表而已。

2. 前提

数据库配置文件：

[hxw@test1 Shell]$ cat  dbConfig.sh
ADMIN_DB="mysql -s -h127.0.0.1 -P3306 -uXXXXXXX -pXXXXXXXX GKIY"

mysql配置表：

3.代码

---------------------------数据库代码----------------------
CREATE TABLE `t_sys_real_sync_config` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `source_db` varchar(50) DEFAULT NULL,
  `source_table` varchar(250) DEFAULT NULL,
  `source_delete_cnt` varchar(50) DEFAULT NULL,
  `target_db` varchar(50) DEFAULT NULL,
  `target_table` varchar(250) DEFAULT NULL,
  `source_sql` varchar(5000) DEFAULT NULL,
  `target_sql` varchar(5000) DEFAULT NULL,
  `s_id` varchar(50) DEFAULT '' COMMENT '源表主键id',
  `t_id` varchar(50) DEFAULT '' COMMENT '仓库表主键',
  `status` tinyint(2) DEFAULT '0',
  `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `updatetim