python 爬虫 入库_【Python爬虫】数据入库之MongoDB

本文介绍了如何使用Python的pymongo库将爬虫数据存入MongoDB数据库。内容包括MongoDB的介绍、安装方法、在PyCharm中的配置、MongoDB的基本使用以及通过爬虫爬取拉勾网职位信息并存储到MongoDB的实例。通过示例代码展示了如何处理POST请求、设置headers和爬取多页数据。
摘要由CSDN通过智能技术生成

1、什么是MongoDB

MongoDB是一个高性能,开源,无模式的文档型数据库,将数据存储为一个文档,数据结构由键值对(key->value)组成

2、 MongoDB相关的安装

Windows的安装方法:

1、详见知乎专栏MongoDB及可视化工具的安装,可按照步骤安装并测试连接

2、安装MongoDB的第三方库pymongo

pip install pymongo

Mac OS的安装方法:

1、参考Mac OSX 平台安装 MongoDB安装,可视化工具RoboMongo安装方法与Windows平台大致相同。

2、 MongoDB的PyCharm插件——Mongo Plugin安装: Preferences——Plugins——Mongo Plugin,安装完成后重启PyCharm可发现右侧有Mongo Explorer

3、安装MongoDB的第三方库pymongo

4、测试连接

首先需要使用以下方法在终端启动MongoDB

cd /usr/local/mongodb/bin

sudo ./mongod

然后在PyCharm右侧的Mongo Explorer连接localhost:27017即可

3、MongoDB在Python中的基本使用

通过一个简单的例子展示使用pymongo连接MongoDB数据库,创建数据库、创建表并插入数据

# -*- coding: utf-8 -*-

# __author__ = 'Carina'

from pymongo import MongoClient

client = Mon

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值