有人提出要将4张表合并成一张。数据量比较大,有4千万条数据。有很多重复数据,需要对某一列进行去重。
数据量太大的话,可以看我另外一篇:http://www.cnblogs.com/magmell/p/8941338.html
mysql:思路:
1、导出数据。select into outfile。
2、传输到要导入数据的服务器上。
3、创建一张新表,主键和约束等与那三张表一样。
4、LOAD DATA INFILE导入。利用replace参数进行覆盖达到去重的目的。
LOAD DATA INFILE '/backup/tbl_get.csv' replace INTO TABLE emob.tbl_new;
LOAD DATA INFILE '/backup/tbl_jue.csv' replace INTO TABLE emob.tbl_new;
LOAD DATA INFILE '/backup/tbl_ors.csv' replace INTO TABLE emob.tbl_new;
全部导入后,对其去重:
select * from tbl_new awhere a.imgi in(select imgi from tbl_new group by imgi having count(imgi)>1);
oracle:
通过sqlldr工具导入:
1、创建一张表,表中不要有任何约束。
2、先写一个load_ora.ctl文件,内容:
unrecoverable #不产生日志
load data
infile &