mongodb导出csv文件

最新推荐文章于 2024-06-27 16:37:17 发布
最新推荐文章于 2024-06-27 16:37:17 发布
阅读量2.3k 收藏
点赞数 1
分类专栏： mongodb 文章标签： mongodb csv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/silk_java/article/details/109220443
版权

Mongodb导出csv数据
关于mongodb的客户端，最开始我使用的工具是mongobooster，后来升级变成了nosqlbooster，都是可以直接选择字段进行导出的，步骤如下：
在这里插入图片描述
在这里插入图片描述

但是后来导出的时候提示要进行收费了，不过依然提供了导出的命令，直接在命令行窗口执行也是可以的，步骤类似如下：
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

不过后来

我加上一些查询条件的时候发现每次执行导出的数据都是空，类似于以下的输出：

java0904@weigongdeMacBook-Pro ~ % mongoexport -v --host localhost:3717 --username root --password root --authenticationDatabase admin -d "car" -c "vinParse_query" --out /Users/java0904/Downloads/vinParse_query.csv  --fields supplier.classname,params.vin,params.key,ip,addtime,timestamp --type csv --query "{\"addtime\":{\"$gt\":\"2020-01-01\",\"$lt\":\"2020-02-02\"}}" --limit 10000000000 --sort {"_id":1}
2020-09-29T14:45:31.255+0800	connected to: mongodb://localhost:3717/
2020-09-29T14:45:32.275+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:33.277+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:34.277+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:35.276+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:36.277+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:37.276+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:38.278+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:39.279+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:40.279+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:41.278+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:42.277+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:43.279+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:44.279+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:45.276+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:46.279+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:47.279+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:48.279+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:49.279+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:50.279+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:51.278+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:52.279+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:53.278+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:54.279+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:55.279+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:55.447+0800	[........................]  car.vinParse_query  0/10000000000  (0.0%)
2020-09-29T14:45:55.447+0800	exported 0 records

你说恼人不，试了很多办法，网上查了很多命令，都不行，最终我查看了一下：

java0904@weigongdeMacBook-Pro ~ % mongoexport --help
Usage:
  mongoexport <options>

Export data from MongoDB in CSV or JSON format.

See http://docs.mongodb.org/manual/reference/program/mongoexport/ for more information.

general options:
      --help                                      print usage
      --version                                   print the tool version and exit

verbosity options:
  -v, --verbose=<level>                           more detailed log output (include multiple times for more verbosity, e.g. -vvvvv, or specify a numeric value, e.g. --verbose=N)
      --quiet                                     hide all log output

connection options:
  -h, --host=<hostname>                           mongodb host to connect to (setname/host1,host2 for replica sets)
      --port=<port>                               server port (can also use --host hostname:port)

ssl options:
      --ssl                                       connect to a mongod or mongos that has ssl enabled
      --sslCAFile=<filename>                      the .pem file containing the root certificate chain from the certificate authority
      --sslPEMKeyFile=<filename>                  the .pem file containing the certificate and key
      --sslPEMKeyPassword=<password>              the password to decrypt the sslPEMKeyFile, if necessary
      --sslCRLFile=<filename>                     the .pem file containing the certificate revocation list
      --sslAllowInvalidCertificates               bypass the validation for server certificates
      --sslAllowInvalidHostnames                  bypass the validation for server name
      --sslFIPSMode                               use FIPS mode of the installed openssl library

authentication options:
  -u, --username=<username>                       username for authentication
  -p, --password=<password>                       password for authentication
      --authenticationDatabase=<database-name>    database that holds the user's credentials
      --authenticationMechanism=<mechanism>       authentication mechanism to use

kerberos options:
      --gssapiServiceName=<service-name>          service name to use when authenticating using GSSAPI/Kerberos ('mongodb' by default)
      --gssapiHostName=<host-name>                hostname to use when authenticating using GSSAPI/Kerberos (remote server's address by default)

namespace options:
  -d, --db=<database-name>                        database to use
  -c, --collection=<collection-name>              collection to use

uri options:
      --uri=mongodb-uri                           mongodb uri connection string

output options:
  -f, --fields=<field>[,<field>]*                 comma separated list of field names (required for exporting CSV) e.g. -f "name,age"
      --fieldFile=<filename>                      file with field names - 1 per line
      --type=<type>                               the output format, either json or csv (defaults to 'json') (default: json)
  -o, --out=<filename>                            output file; if not specified, stdout is used
      --jsonArray                                 output to a JSON array rather than one object per line
      --pretty                                    output JSON formatted to be human-readable
      --noHeaderLine                              export CSV data without a list of field names at the first line
      --jsonFormat=<type>                         the extended JSON format to output, either canonical or relaxed (defaults to 'relaxed') (default: relaxed)

querying options:
  -q, --query=<json>                              query filter, as a JSON string, e.g., '{x:{$gt:1}}'
      --queryFile=<filename>                      path to a file containing a query filter (JSON)
  -k, --slaveOk                                   allow secondary reads if available (default true) (default: false)
      --readPreference=<string>|<json>            specify either a preference mode (e.g. 'nearest') or a preference json object (e.g. '{mode: "nearest", tagSets: [{a: "b"}], maxStalenessSeconds: 123}')
      --forceTableScan                            force a table scan (do not use $snapshot)
      --skip=<count>                              number of documents to skip
      --limit=<count>                             limit the number of documents to export
      --sort=<json>                               sort order, as a JSON string, e.g. '{x:1}'
      --assertExists                              if specified, export fails if the collection does not exist (default: false)

最有用的是下面这行：


  -q, --query=<json>                              query filter, as a JSON string, e.g., '{x:{$gt:1}}'

你看，他这里写的是用json，我上面写的也是json啊，那么好，我再按照文档的提示操作一下，把字段名addtime去掉双引号，$gt也去掉双引号，外面使用单引号，但是依旧执行不成功，最终，成功的是如下的命令：

java0904@weigongdeMacBook-Pro ~ % mongoexport -v --host localhost:3717 --username root --password root --authenticationDatabase admin -d "car" -c "vinParse_query" --out /Users/java0904/Downloads/vinParse_query_202005.csv  --fields supplier.classname,params.vin,params.key,ip,addtime,timestamp,content.code,content.message --type csv --query '{"addtime":{"$gt":"2020-05-01","$lt":"2020-06-01"}}'  --sort {"_id":1}
2020-09-29T15:37:41.967+0800	connected to: mongodb://localhost:3717/
2020-09-29T15:37:43.069+0800	car.vinParse_query  0
2020-09-29T15:37:59.070+0800	car.vinParse_query  0
2020-09-29T15:38:00.072+0800	car.vinParse_query  0
2020-09-29T15:38:01.072+0800	car.vinParse_query  0
2020-09-29T15:38:02.072+0800	car.vinParse_query  0
2020-09-29T15:38:03.069+0800	car.vinParse_query  0
2020-09-29T15:38:04.072+0800	car.vinParse_query  0
2020-09-29T15:38:23.069+0800	car.vinParse_query  0
2020-09-29T15:38:24.069+0800	car.vinParse_query  0
2020-09-29T15:38:25.072+0800	car.vinParse_query  0
2020-09-29T15:38:26.072+0800	car.vinParse_query  8000
2020-09-29T15:38:27.071+0800	car.vinParse_query  8000
2020-09-29T15:38:28.072+0800	car.vinParse_query  8000
2020-09-29T15:38:29.070+0800	car.vinParse_query  8000
2020-09-29T15:38:30.072+0800	car.vinParse_query  8000
2020-09-29T15:38:31.072+0800	car.vinParse_query  8000
2020-09-29T15:38:32.072+0800	car.vinParse_query  8000
2020-09-29T15:38:33.071+0800	car.vinParse_query  8000
```shell
特此记录，以后再也不需要依赖客户端导出了
micro_cloud_fly
关注
专栏目录
MongoDB 如何导出 csv文件
Raqsoft
08-17 1424
将非结构化的 MongoDB 数据转换成结构化的数据，导出成 csv 文件，可供迁移到其它数据库等应用。 如有集合 scores 成绩数据表，含有 subject 嵌套子文档记录各科成绩表，需导出生成 csv 文件。 name age province subject zhou gao gao 24 guang xi {"name": "Chinese","score": 80}, {"name": "Math","score": 84},{"name": "
MongoDB 导出数据成 csv
Raqsoft
01-11 453
将 MongoDB 中的多层数据导出为结构化二维数据，实现这种算法要考虑大数据的处理，结构化数据计算，用 python 实现存在一定难度。
mongoexport 导出csv格式文件
qq_40152902的博客
06-27 300
mongoexport 导出csv文件
MongoDB数据导出成CSV
weixin_34413357的博客
07-18 321
# articlesmongoexport -d mean-npbao -c articles --type=csv -f _id,type,title,author,brief,html,content,urls,client,created -o /root/hmg/articles.csvmongoexport -d mean-npbao -c articles --type=csv -f ...
MongoDB导出数据为CSV的两种方式
矢量与栅格
12-11 1万+
MongoDB的安装目录bin文件夹下有如下工具： 本文使用的是mongoexport.exe工具导出数据。 1.打开命令行cmd，进入mongodb的安装目录Bin文件夹 2.然后输入如下语句： 其中，“d”是使用的Mongo数据库，“c”指的是数据库集合（也就是数据库表），“f”指的是域（也就是要导出的数据字段），“o”指的是csv文件的输出路径。 3.打开输出的csv文件即可查看 ...
mongodb导出csv格式
xianyuLuo的博客
03-04 408
mongoexport 例子：导出palyer表前2行到player.csv，内容包含“_id、stat、cptCnt”字段 mongoexport --uri=mongodb://admin:xxxxx@1.1.1.1:27017,2.2.2.2:27017/test?authSource=admin -c player-o player.csv --type csv -f "_id,st...
MongoDB导出CSV文件的Node.js实现
为了从MongoDB导出数据到CSV文件，需要安装两个npm包：`解析-xl`和`csv-write-stream`。`解析-xl`包用于解析Excel文件，如果需要从Excel文件导入数据到MongoDB再导出，可以使用这个包。`csv-write-stream`包则用于...
java mongodb导出数据_JAVA--将MongoDB数据写出到CSV
weixin_39628271的博客
02-19 503
packagecom.ReadMongodbToCsv;importjava.io.BufferedWriter;importjava.io.File;importjava.io.FileWriter;importjava.io.IOException;importjava.net.UnknownHostException;importjava.util.ArrayList;importcom.m...
MongoDB导出查询结果到文件例子
09-10
在上述的"MongoDB导出查询结果到文件例子"中，主要涉及到了以下两个关键知识点： 1. **查询操作**：在JavaScript脚本`dump.js`中，我们使用了`db.user.find()`方法来执行查询。这里的`user`是集合名，查询条件是`{...
将MongoDB中的数据导出为csv文件
染柒的博客
06-05 1174
在cmd中输入命令：mongoexport -d myDB -c user -f _id,name,password,adress --csv -o ./user.csv （粗体部分需要替换） -d 标示 数据库 -c 标示 数据表 -f 需要提取的field用逗号分隔 -o 输出路径 eg.mongoexport -d pymongo_test（数据库名称） -c valley（数据表名称） -f _id,name,description,score,date（需要提取的列） --csv -o E:/va
从MongoDB导出.csv文件
林微的博客
01-06 5865
1. 实例 MongoDB数据库名称（比如：database1），数据集名称（比如：dataset1），需要导出的数据集的若干字段（比如：ipv4, delay），导出路径及文件名（比如：/home/joe/sharecode/ipv4.csv） mongoexport -d database1 -c dataset1 -f ipv4, delay –csv -o /home/joe/s
MongoDB导出csv格式数据
热门推荐
“365天深度学习训练营”报名进行中～
10-25 1万+
第一步： 在cmd中进入mongodb的安装目录下的bin文件夹 C:\Users\zzz&gt;cd C:\Program Files\MongoDB\Server\4.0\bin 第二步： 从MongoDB导出csv格式数据 mongoexport --host localhost --db IP_cool -c standby --csv -f ip,port,anony_type,a...
Mongodb导出csv，必可用
前方的路在刚开始
05-10 134
./mongoexport -h 192.168.31.26 -p 27017 -u admin -p password-d advisory -c vul_1 -f d,lj_package_id,verify_package_affect_versions,affect_versions,lj_vul_id -o /vul_with_versions.csv --authenticationDatabase admin --type=csv --forceTableScan -d advisory ..
将MongoDB导出成csv文件
一台数据分析的机器！
08-21 916
   来源：https://plus.google.com/+VicNgrail/posts/ebS9JUtFopw。   Mongodb可以存储非结构化数据，要将这些数据导出为标准的结构化数据会存在一定的困难。用集算器结合MongoDB可以方便的导出标准化数据，下面看一下具体做法。   Collection test的部分数据如下： /* 0 */ {   “_id” : Objec...
mongo用命令将csv导入导出数据表
yilvyangguang520的博客
03-06 609
mongo用命令将csv导入导出数据表
Mongo 导出为csv文件
weixin_30823227的博客
08-21 274
遇到需要从Mongo库导出到csv的情况，特此记录。 先贴上在mongo目录下命令行的语句： ./mongoexport -h 10.175.54.77 -u userName -p password --port 27017 -d NewDb -c collectionName --query '{"createDate":{"$gt":1558160048000}}' --fie...
MongoDB csv文件导入导出
dongbi0665的博客
09-07 541
1.导出到csv文件： 　　 　　需要登录认证的： mongoexport -h 127.0.0.1:27017 -u root -p 123456 --authenticationDatabase admin -d IndicatorPlatform -c calcgsdataflash -q{gscode:'ZTJB',ymd:{$gte:20190801,$lte:201...
将 MongoDB 导出成 csv
terry_chengq的博客
09-17 822
原文链接：http://c.raqsoft.com.cn/article/1568624571679?r=CGQ Mongodb 可以存储非结构化数据，尤其擅长存储 json 格式的数据。对于习惯于数据库表结构的用户或需要使用结构化数据的用户来说，往往希望能将非结构化的数据转换成结构化的数据，以方便后面的计算，而要将这些数据导出为标准的结构化数据经常存在一定的困难。针对这种情况，我们可以利...
mongodb导出csv导入到mysql 日期类型Incorrect datetime value: '0000-00-00 04:05:58.532'报错
最新发布
09-13
当你尝试将MongoDB中的CSV数据导入MySQL，并遇到类似于" Incorrect datetime value: '0000-00-00 04:05:58.532'"这样的错误，通常是因为MySQL对于日期格式有特定的要求，而你导出的CSV文件中可能存在不符合该格式的数据。 MongoDB默认存储的日期时间可能会以ISO 8601格式表示（例如 "2022-01-01T04:05:58.532Z"），而MySQL需要的是 'YYYY-MM-DD HH:MM:SS.MS' 或 'YYYY-MM-DD HH:MM:SS' 这样的格式。解决这个问题，你可以按照以下步骤操作： 1. **检查日期格式**：在CSV文件中，确认日期字段是否已经被转换为MySQL接受的格式。如果不是，手动更改它，或者在导入前使用工具进行转换。 2. **使用工具转换**：可以使用Python的pandas库读取CSV，将其转换为正确的格式后再保存为CSV，或者直接在SQL命令行里处理。 3. **在MySQL中指定日期格式**：在导入时，可以设置`FIELDS TERMINATED BY ','`等选项，并在`LOAD DATA INFILE`语句中指定日期列的格式。例如： ```sql LOAD DATA INFILE '/path/to/your/csv' REPLACE INTO TABLE your_table FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' (column1, column2, CAST(your_date_column AS DATETIME) ...) ``` 4. **校验导入**：导入之后，可以在MySQL中再次检查日期字段是否已正确解析。 如果你在操作过程中遇到困难，这里有一些
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

micro_cloud_fly

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值