公司线上数据用的是mongodb存储(其实线下一般也用mongodb),最近负责一个项目,需要每天获得线上数据库中所有的卖家id和卖家店铺名称。其实简单的将整个数据库扫一遍,拿出需要的这两个字段,再过滤一遍就可以了,但总想试一试更高级点儿的方式,谁叫我懒呢,不想写太多代码,不想做太多维护,还想快速准确拿数据。
mongodb集合中doc(一个doc表示一个商品信息)的数据格式如下图所示,我要做是获取所有的userId和nick字段,然后去掉重复的即可。
distinct指令
distinct指令的详细解释及用法见官网。亿万级数据量的情况下,distinct指令看看就行了,不然等它执行的时间都够睡一觉了。
mongoexport工具
通过mongodb自带的集合导出工具mongoexport来实现。使用mongoexport导出集合中需要的字段到文件中,然后对文件进行排序和去重(先排序,后去重,因为uniq只会比较相邻的两行并去重)。
momgoexport -c author_name -c collection_name --csv --fields field1 fileld2 -o exported_data