【背景】有160万用户账号数据,200万终端账号数据,需要在160万用户账号数据中排除所有账号数据,那就需要遍历 160万 * 200万 = 3200000000000 次运算 ,3万2000亿次!
用mongodbimport的upsert 命令
mongoimport --db xxx --host xxx --port 27017 --username xxx--password xxx --collection xxx --type csv --headerline --upsertFields uid --file /data/xxx/xxx.csv --numInsertionWorkers 8
言归正传,这个命令跑起来非常慢,一个小时更新几十k的数据,我突然想到用增加索引试一试,db.xxx.ensureIndex({"uid":1}); 没想到啊! 这么命令执行之后,效果立竿见影,速度一下就上来了,剩下的数据,总共27.7MB (建序列之前,跑了2个多小时,跑了88KB) 40分钟跑完!
牛逼了! 索引 32k亿次运算啊