按条件迁移数据[MySQL]

功能需求：

1、把 friend 和 friend_profile 表中的垃圾（符合一定条件）数据转移到 friend_rubbish 和 friend_profile_rubbish 表中

2、条件有可能较为复杂

 

非功能需求：

1、线上操作

2、千万级数据量

 

声明：俺不是DBA，只会写点简单的SQL……-_-! 高手、大牛、神人、耶稣、释迦摩尼……能指点就指点指点偶吧~~~~~~

 

写在前面的话：

1、“逐步”和“分批”都是“按uid分批”的意思（为啥要分批？因为非功能需求-.-），SQL中uid的范围是测试随便写的

2、“a.`login_num`<1 AND`reg_ip`='0.0.0.0'”也是随便写的条件（成为垃圾记录的具体条件）

3、friend_rubbish 和 friend_profile_rubbish 是根据 friend 和 friend_profile 的表结构新建来的 

4、中间生成id_list.txt而没有纯SQL，是为了性能考虑，代价是需要人来手工参与（或写成工具脚本也可）

 

【方案一】

 

# 1、按条件逐步把 friend 表数据写入 friend_rubbish 表

INSERT INTO `friend_rubbish` 

(

    SELECT a.* FROM `friend` as a, `friend_profile` as b 

    WHERE a.`uid`=b.`uid` 

    AND a.`login_num`<1

    AND b.`reg_ip`='0.0.0.0'

    AND a.`uid`>0 

    AND a.`uid`<300 

)

 

# 3、逐步把 friend_profile 表数据写入 friend_profile_rubbish 表（直接参照 friend_rubbish 表中记录）

INSERT INTO `friend_profile_rubbish` 

(

    SELECT * FROM `friend_profile` 

    WHERE `uid` IN

    (

        SELECT `uid` FROM `friend_rubbish` 

        WHERE `uid`>0 AND `uid`<300 

    )

)

 

 

# 4、分批准备好所有要删除记录的id_list

SELECT `uid` INTO OUTFILE '/tmp/id_list.txt'

LINES TERMINATED BY ',' 

FROM `friend_rubbish` 

WHERE `uid`>0 AND `uid`<300

 

# 5、逐步清理 friend 和 friend_profile 表 

DELETE FROM `friend` WHERE `uid` IN (【一批id_list】)

DELETE FROM `friend_profile` WHERE `uid` IN (【一批id_list】)

 

 

貌似有些复杂。。。又想了个方案二。。。

【方案二】

 

# 1、friend 和 friend_profile 表新增字段flag=0

 

# 2、分批准备好所有要清理的记录的id_list

SELECT a.`uid` INTO OUTFILE '/tmp/id_list.txt'

LINES TERMINATED BY ',' 

FROM `friend` as a, `friend_profile` as b 

WHERE a.`uid`=b.`uid` 

AND a.`login_num`<1

AND b.`reg_ip`='0.0.0.0'

AND a.`uid`>0 

AND a.`uid`<300 

 

# 3、逐步置 friend 和 friend_profile 表中垃圾记录flag=1

UPDATE `friend` SET `flag`=1 WHERE `uid` IN (【一批id_list】) 

UPDATE `friend_profile` SET `flag`=1 WHERE `uid` IN (【一批id_list】) 

 

# 4、逐步把 friend 和 friend_profile 表垃圾数据写入 friend_rubbish 和 friend_profile_rubbish 表

INSERT INTO `friend_rubbish` 

(

    SELECT * FROM `friend`

    WHERE `flag`=1 AND `uid`>0 AND `uid`<300 

)

 

INSERT INTO `friend_profile_rubbish` 

(

    SELECT * FROM `friend_profile`

    WHERE `flag`=1 AND `uid`>0 AND `uid`<300 

)

 

# 5、逐步删除 friend 和 friend_profile 表中flag=1的垃圾记录

DELETE FROM `friend` WHERE `flag`=1 AND `uid`>0 AND `uid`<300 

DELETE FROM `friend_profile` WHERE `flag`=1 AND `uid`>0 AND `uid`<300 

 

# 6、删除friend 和 friend_profile 表中flag字段

 

等等！貌似可以优化，flag字段好像很多余的说。。。

【方案三】

 

# 1、分批准备好所有要清理的记录的id_list

SELECT a.`uid` INTO OUTFILE '/tmp/id_list.txt'

LINES TERMINATED BY ',' 

FROM `friend` as a, `friend_profile` as b 

WHERE a.`uid`=b.`uid`

AND a.`login_num`<1 

AND b.`reg_ip`='0.0.0.0'

AND a.`uid`>0 

AND a.`uid`<300 

 

# 2、分批把 friend 和 friend_profile 表垃圾数据写入 friend_rubbish 和 friend_profile_rubbish 表

INSERT INTO `friend_rubbish` 

(

    SELECT * FROM `friend` WHERE `uid` IN (【一批id_list】) 

)

 

INSERT INTO `friend_profile_rubbish` 

(

    SELECT * FROM `friend_profile` WHERE `uid` IN (【一批id_list】) 

)

 

# 3、分批删除 friend 和 friend_profile 表中的垃圾记录

DELETE FROM `friend` WHERE `uid` IN (【一批id_list】) 

DELETE FROM `friend_profile` WHERE `uid` IN (【一批id_list】) 

 

厄……还是这个简单明了~