dataframe写入mongoDB遇到的一些问题以及解决

最新推荐文章于 2022-05-13 19:49:12 发布
最新推荐文章于 2022-05-13 19:49:12 发布
阅读量5.6k 收藏 11
点赞数 1
分类专栏： 随笔
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/as394349658/article/details/103574764
版权
本文记录了在尝试将DataFrame写入MongoDB时遇到的问题，包括数据类型不匹配、键必须为字符串等错误。通过字典深拷贝、替换操作以及设置特定写入参数来解决这些问题。最后提供了一种万能的写入方法，适用于不同数据类型。
摘要由CSDN通过智能技术生成

目录

一、问题

1. If using all scalar values, you must pass an index.

在这里插入图片描述

2. bson.errors.InvalidDocument: Cannot encode object.

在这里插入图片描述

3.documents must have only string keys, key was 0

在这里插入图片描述

4.must not contain “.”

在这里插入图片描述

5. InvalidDocument: documents must have only string keys等等很多类似的错误。

花了我整整3个小时，整个人都不好了。大家看看就好，搞清楚原理，至于能不能解决就随缘吧，毕竟问题太多，会脱顶，会死脑很多细胞的，会衰老的。

二、问题分析

Mongo需要接受字典格式的数据，支持的数据类型有：
在这里插入图片描述
而pandas中独有的float64，int32，datatime等或者不能包含“.”，在mongoDB中不被支持，所以出现这些类似的错误，归根结底都是数据类型不支持的问题，但是直接将其转化为int，float太麻烦，或者直接转化为json等一些格式后再插入也会出现一些问题如TypeError: 'str' object does not support item assignment。

三、解决方案

1.字典深拷贝

字典没有深拷贝&

最低0.47元/天 解锁文章
as394349658
关注
专栏目录
python将dataframe数据导入MongoDB非关系型数据库
Cachel Wood的博客
07-16 2314
函数，返回结果为列表，列表中的每个元素为json型，是原来excel中的一条记录。
Python实现将数据框数据写入mongodb及mysql数据库的方法
12-23
本文实例讲述了Python实现将数据框数据写入mongodb及mysql数据库的方法。分享给大家供大家参考，具体如下： 主要内容： 1、数据框数据写入mongdb方法 2、数据框数据写入mysql方法 为了以后不重复造轮子，这里总结下...
通过 DataFrame 将数据导入到 MongoDB。
qq_32783151的博客
06-15 1648
1、创建 DataFrame /**声明样本类*/ case class Data(val uid:Int, val tag:String, val info:String ) /**声明Spark环境*/ val conf = new SparkConf().setMaster("local[2]").setAppName("DataLoading") // val sc = new Spark
【mongodb】将dataframe类型数据存入mongodb
qq_43691733的博客
05-13 872
import pymongo import json def df2bson(df): """DataFrame类型转化为Bson类型""" data = json.loads(df.T.to_json()).values() return data def database(df_data,s): client = pymongo.MongoClient("mongodb://xx.xxx.xxx.xxx:27017/") client.admin.auth
python存储 dataframe 数据到mongodb
达达的博客
11-26 2321
首先定义mongodb存储类 class MongoBase: def __init__(self,collection): self.collection=collection#需要传参写入对应库名的集合名，集合名不需要提前定义 self.OpenDB() def OpenDB(self): self.con = MongoClie...
Python中将dataframe存入mongodb
Supergirl12138的博客
03-23 4229
import json from pymongo import MongoClient client = MongoClient(host='localhost', port=27017) # 连接mongodb端口 crowd = db['crowd'] # crowd表格 crowd.insert(json.loads(user_review.T.to_json()).values...
Pandas的学习(读取mongodb数据库集合到DataFrame，将DataFrame类型数据保存到mongodb数据库中)
Mogul的博客
09-02 2771
1.读取mongodb数据库集合到DataFrame import pymongo import pandas as pd client = pymongo.MongoClient("数据库连接字符串") # 第二种方式 host='localhost', port=27017 db = client['要读取的数据库名'] coll_name = db['要读取的集合名'] # 读取mongodb的集合到pandas df = pd.DataFrame(list(coll_name.fin..
bson.errors.InvalidDocument: Cannot encode object:错误的一种解决方法
dta0502的博客
10-29 3910
在Python中利用pandas库的read_csv函数读取CSV文件，文件中包含有数值型值，然后将其转换成字典存入Mongodb数据库中，但是在插入数据库中会报错： bson.errors.InvalidDocument: Cannot encode object: 这是因为pandas库在读取数值型值时返回的结果不是整型或者浮点型，而是numpy.int64类型的一个对象，Mongodb是无...
dataframe写入mongodb数据库
最新发布
05-25
要将DataFrame写入MongoDB数据库，可以使用pymongo和pandas库。以下是一个简单的例子： 首先，确保你已经安装了pymongo和pandas库。可以使用以下命令进行安装： ``` pip install pymongo pandas ``` 然后，连接到...
Python访问MongoDB,并且转换成Dataframe的方法
09-09
# 写入CSV文件解决中文乱码问题 df.to_csv("abc.csv", encoding="utf_8_sig") # 如果不需要_id字段，将其删除 if no_id: del df['_id'] return df ``` 此函数接受数据库名、集合名、查询条件以及MongoDB...
解决bson.errors.InvalidDocument: Cannot encode object:错误的一种方法
leaderwsh的博客
06-22 1万+
在Python中，首先利用pandas库的read_csv函数读取CSV文件，文件中包含有数值型值，然后将其转换成字典存入mongodb数据库中，但是在插入数据库中会报错：bson.errors.InvalidDocument: Cannot encode object:这是因为pandas库在读取数值型值时返回的结果不是整型或者浮点型，而是numpy.int64类型的一个对象，mongodb是无...
insert errdocuments must have only string keys, key was b'files'或key was b'length'等等
weixin_43097301的博客
02-11 1773
insert errdocuments must have only string keys, key was b’files’或key was b’length’ 这个错误是出在dht磁力转种子并将信息存入Mongodb存储中的， data=ZDY6bGVuZ3RoaTY4MzM0MTQyNmU0Om5hbWU1MDpEQ3MuTGVnZW5kcy5vZi5Ub21vcnJvdy4zeDAyLn...
PyMongo报错bson.errors.InvalidDocument: Cannot encode object的解决办法
HeatDeath的博客
04-06 9763
加上这行就好了…
IDEA IDEA Module XXX must not contain
u010811263的博客
12-01 649
今天想给项目添加单元测试。但是创建test/java文件夹时，module选错了。然后我直接拖拽到了另外一个module里了，结果对应的项目显示的位置不对，如图 对应的test/java 应该是creativestudio 项目下 但是却显示的是 creativestudio-common，这导致我在写测试类的上海 @Test的引用一直不对。在creativestudio的pom中引入了所需的jar包。 想到肯定是因为项目中对应的test/java 地址不对导致的。如下操作在test/java ..
IDEA出现Module ** must not contain source root **. The root already belongs to module **这类错误的解决方法
今日天晴
05-22 2万+
出现这个问题的原因是， parant目录不能放src的code 找到你父project的Sourece Folders，看看是不是把子module的加载进来了。删掉就好。
Module “*” must not contain source root *. The root already belongs to module “*”.
qq_26582185的博客
08-14 3879
一般是因为项目存在多个模块，且模块之间有包含关系 解决：打开Project Structure===》modeles ===》将非项目名的model删除===》OK===》重新运行
idea出现Module ** must not contain source root **. The root already belongs to module **这错误的解决方法
逸轩
07-02 4304
导入一个名称为Demo的项目后，打开 File——>Project Structure...，点击左侧的Modules，发现除了名称为CU的module，还有一个“main”和一个“test”，通过查看详细信息发现“main”和“test”都属于“Demo”这个项目。 　　在这样的情况下，你想add JARS or directories或者add Library都会弹出错误框：“Modu...
idea报错Module Project1 must not contain source root "...\Project1\src". The root already belongs to .
一叶知秋hwb的博客
03-17 1万+
idea报错Module Project1 must not contain source root "...\Project1\src". The root already belongs to m 选择你的根模块 选择modules，选择根模块，删除add content root 下面不直接属于根模块的目录即可。 ...
MongoDB 的坑 & 如何避免采坑
热门推荐
longxibendi的专栏
04-16 2万+
From:http://blog.rainforestqa.com/2012-11-05-mongodb-gotchas-and-how-to-avoid-them/ 翻译版看：http://www.csdn.net/article/2012-11-15/2811920-mongodb-quan-gong-lue A lot of people hate on MongoDB. In
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值