pyhon脚本实现对mysql数据进行增量保存逻辑

步骤

1、首先连接上mysql数据库（确保被抽取表数据都是全量运行的）
2、通过SHOW TABLES FROM 数据库名字，获得该数据库下的表的集合
3、通过py脚本传参，将需要抽取的表名称（这边假设为：target_table）、最大循环次数(max_cycle_num)和睡眠时间（sleep_time），后两个参数是将用于缓冲使用，后面会提及；
4、程序里面编写 cycle_num=0,flag_table=1标志；flag_table标志适用于判断flag表是否存在于数据库，flag表里面仅有一个int类型的flag字段，字段无实际作用，表用于判断而已；
5、使用while循环每次对运行都对flag_table=1和cycle_num<= max_cycle_num判断；循环里面每次判断flag表是否存在于数据库；在的话，cycle_num就一直累加，只直到大于max_cycle_num;最后推出循环，后面使用try,excep进行异常的抛出，说明flag表存在数据库，表明上次调度任务是异常退出的，因为调度任务最后结点是会将flag表进行删除的；如果不存在，就将flag_table=0，并创建flag表：tatget_table_flag;
6、之后判断target_table_temp是否存在数据库，在的话，Print表已存在，不在的话，就创建tmp表；
7、由于第6的可能存在的原因，且每次我们都希望将最新数据写入到这个临时表，所以判断后面必须加一个truncate tmp表操作；
8、将target_table和target_table_tmp表都锁住，lock tables target_table write,target_table_tmp write；（避免清空的时候，又有新数据进入数据库，未被抽取就被删除了）
9、将target_table表数据写入到tmp表，将target_table表进行清空执行；
10、解锁两张表即可；
11、之后数仓再对tmp进行抽取即可；
12、之后调度任务对抽取到tmp数据进入到数仓进行存储；如果数据只是每次新增，并不会修改，可以使用数据生成的创建时间建成月或者天分区ods表，让mysql的target_table表保存近7天的数据即可（这样前面的truncate taregt_table就要改为 delete）；或者有类似工单的主键字段创建分区表，每次覆盖即可，前面步骤不变； 如果数据会更新，则使用update_time做分区时间即可，也是保留7天数据做增量；
13、数据增量覆盖到ods表以后即可将target_table_flag表进行drop操作了；这样每次前面的py脚本才可以实现正常运行；