如何在Python中将数据存储到MongoDB中?

一、前期准备

1.1 MongoDB安装

MongoDB 是目前最流行的 NoSQL 数据库之一,具体的下载与安装过程见MongoDB安装办法

1.2 PyMongo驱动安装

1.在完成第一步安装后,还需要实现python和MongoDB的连接,这时需要安装PyMongo驱动,安装办法:
在命令行中,转入python安装文件夹中的Script目录下,输入命令

python3 -m pip3 install pymongo

如果担心不成功,可以选择先更新pip3,再进行驱动安装。
2.另外还可以借助pycharm进行安装,同样非常方便。打开pycharm,依次点击 File > Settings > Project python > Project InterPreter,出现界面


选择完interpreter,会出现一个库的列表,里面列举着一些你常用的已安装库

接着点击左上角的【+】,会出现一个Available Packages的窗口,
在这里插入图片描述
在搜索栏输入pymongo,找到相关的库,选中,然后点击窗口最左下方的install package安装即可。

二、常见用法

2.1 创建数据库

创建数据库需要使用 MongoClient 对象,并且指定连接的 URL 地址和要创建的数据库名。

import pymongo

myclient = pymongo.MongoClient("mongodb://localhost:27017")  # Host以及port
db = myclient["myDatabase"]

在 MongoDB 中,数据库只有在内容插入后才会创建。所以如果仅仅是上述代码,并不会在MongoDB中找到数据库“myDatabase”。

2.2 创建collection

import pymongo

myclient = pymongo.MongoClient("mongodb://localhost:27017")  # Host以及port
db = myclient["myDatabase"]
coll=db["collection1"]

在 MongoDB 中,集合只有在内容插入后才会创建。

2.3 在collection中添加document

import pymongo

myclient = pymongo.MongoClient("mongodb://localhost:27017")  # Host以及port
db = myclient["myDatabase"]
coll = db["collection1"]
dict = {"name": "liming", "age": "20"}
x = coll.insert_one(dict)

如果想要插入多条数据,需要使用insert_many()函数

import pymongo

myclient = pymongo.MongoClient("mongodb://localhost:27017")  # Host以及port
db = myclient["myDatabase"]
coll = db["collection1"]
mylist = [
  { "name": "hanmei", "age": "19" },
  { "name": "wanghua", "alexa": "18" },
  { "name": "lihong", "alexa": "20" }
]
y = coll.insert_many(mylist)

2.4 查询数据

我们可以使用 find_one() 方法来查询集合中的一条数据,

x = collection名称.find_one()
print(x)

find() 方法可以查询集合中的所有数据

for x in collection名称.find():
  print(x)

还有一些按照条件进行查询、指定字段查询的方式,详细见教程

  • 2
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
爬取网站并将数据存储MongoDB是一种常见的数据采集和存储方式。在进行这个过程之前,我们需要明确以下几个步骤: 1. 确定需要爬取的网站:首先需要确定目标网站的URL和需要采集的数据内容。这可以包括新闻、产品信息、用户评论等不同类型的数据。 2. 选择合适的爬虫工具:根据目标网站的特点和数据采集需求,选择合适的爬虫工具。常见的爬虫工具包括Scrapy、BeautifulSoup等。 3. 编写爬取代码:根据选择的爬虫工具,编写相应的爬取代码。这可以包括设置网页请求头、定义爬取规则、提取需要的数据等。 4. 建立MongoDB数据库连接:在代码建立与MongoDB数据库的连接。需要提供数据库的IP地址、端口号、用户名和密码等相关信息。 5. 存储数据MongoDB:在代码中将爬取到的数据存储MongoDB数据库。可以使用Python的pymongo库来实现与MongoDB的交互,将数据以适当的格式存储到指定的集合。 6. 数据清洗和处理:爬取到的数据可能需要进行清洗和处理,以适应后续的数据分析和应用需求。这可以包括去除重复数据、格式化日期和数字等操作。 7. 定期更新爬取:如果需要保持数据的实时性,可以设置定时任务来定期运行爬虫,获取最新的数据存储MongoDB。 总结起来,爬取网站并将数据存储MongoDB是一种常见的数据采集和存储方式。通过选择合适的爬虫工具、编写爬取代码、建立数据库连接以及存储数据等步骤,我们可以有效地实现这一过程。同时,需要注意数据清洗和定期更新的步骤,以保持数据的质量和实时性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值