mongodb使用的一些问题（mongoimport，mongoexport）（第一部分，太长了分开写骗点访问量）

昨天在做mongodb导入的一些操作，遇到了这样那样的问题，大家也知道有些东西查了很费劲，说的对还是不对什么的

以上都是废话，我把我遇到的一些问题总结一下，特别是有些问题查了半天好像没人能解决，有人提问无人回答。希望能

对大家带来帮助。

首先，我们的工作是定期把别的部门推送过来的csv文件导入到mongodb库中，然后提供查询的功能显示在页面当中，一开始

会有18个G的文件2亿条数据需要进行导入，后期每天就只有200W条，后期就很好办了，写了个定时任务，io流读写，往数据

库存，有人可能会问为什么后期不用mongoimport，主要是我们这边需要日志记录一下，mongodb服务器不在我们这边，只

能通过读写之间进行一个日志的记录。前期2亿条数据这个很烦，本来打算io流那么搞，然后能做日志记录避免哪条数据导入失

败，后来跑起来发现得运行3天才能导入完成，而这期间上线还要接受每天的csv进行导入，真的很坑，没办法，这2亿条客户

数据就只能用mongodb的导入指令了，不过讲道理速度真的快，我导入50M的文件做测试就用了几秒。

干货来了，首先我就展示下我的mongoimport指令，当然我只展示本地的，要是想了解下更详细的，看官网或者度娘吧，我

这版主要是跟大家说下可能会遇到的问题：

mongoimport --db test --type tsv --headerline --file D://software//mongoDb//data//db//custview_20180402.csv

--db：是指定你的数据库名

--type：是指定你导入的文件类型，可以使csv或者tsv（这两种文件格式我下边会有相关问题说明一下）

--headerline：这个意思是文件中的首行根据分隔符作为存入的“键”，就是字段名，文件中要是全是数据，那就不用这个，

换成--fields还是什么来着（-f  "_id,cont_id,company,label,upd_date"）具体怎么改我忘了，百度百度哈，要是报错了注意

空格，命令失败提醒你少个；什么的都有可能是空格的问题

--file当然就是指定文件路径了

还有其他的，自己查一下！有些导入还需要权限账号密码什么的

你以为光执行这个命令就万事大吉了么，太天真了！

我经历了一堆问题，其中比较让我抓头的就是下面要介绍的：

这里的csv文件格式就是这样： 小明，22，学生，阅读     ----这种以逗号分隔的数据形式，mongodb在导入时会以逗号为分隔

把这个整体性的数据拆分了，变成Nosql数据库中一个个字段列，键（列名）的名称就是根据你的headerline后者是fields进行设

置的。

要注意的是！！！：csv文件你双击打开一般都是用excel打开的，这个时候也只是显示一下数据，可是如果要做修改，千万别

再excel里瞎T-M改，改完屁用没有，mongodb他T-M不认识，不会分的，我就在这里改完，然后导入，看了一下午都没分开

存储，要用文本编辑器ediplus、notepad++这种打开在里面进行修改，这样才是保持了他的内容格式。特别要说明的一点，

在编辑之后建议看一下编码格式，mongodb用的是utf-8，你需要把格式变成

这样遇到中文也不会出现问题了，如果像我们一样在服务器上直接拿到文件在linux上操作的话，那就在linux上修改好编码格

式，如果不改。。。自己难受去吧，中文都是空。。。lol，这里要提下windows默认的分隔符是“，”逗号，我即便是按着

网上说的改了分隔符好像也没什么卵用的。。。csv反正依然以逗号做分隔。。后面也就产生了别的问题。。。见（二）。

点个赞吧，还没人给我点赞，我好惨。。。