1. 需求背景
Mysql下,对于海量数据的大表(这里亲测的是千万级),需要导出表数据,并且需要对表字段进行加工处理,比如增、删、改等操作
1.1 生产案例
1. 表数据来自:数据库实例A,bond_price_a.exchange_price_flow_2023_05(库名.表名)
2. 字段加工要求:
2.1 删除字段:kafka_time、rowkey_flow、cb_nptm、cb_npte
2.2 需要修改字段:type、issue_time、remaining_tenor
2.3 添加字段:update_time_id、deleted
3. 表数据导出至:数据库实例B,bond_price_b.exchange_price_flow_2023_05(库名.表名)
2. 适用场景
能够事先知道源表的数据,在某段时间内几乎不会发生更新的情况下,在这段时间内使用如下方案操作。
3. 实现方案
1. 在数据库实例B下,创建一个临时数据库,比如叫 bond_price_temp
如果数据导出是在同一数据库实例下,这一步可以忽略。这里创建临时数据库,是因为下面操作,