Python获取信息并保存MongoDB实例

秦同学学学

已于 2022-06-11 20:39:00 修改

阅读量1.3k

点赞数 8

分类专栏：网络爬虫 Python 文章标签： python mongodb 网络爬虫

于 2022-05-06 08:15:00 首次发布

本文链接：https://blog.csdn.net/xiaobai729/article/details/124576771

版权

Python 同时被 2 个专栏收录

21 篇文章 3 订阅

订阅专栏

网络爬虫

5 篇文章 7 订阅

订阅专栏

本文展示了如何使用Python的requests和pymongo库从网站抓取数据并存储到MongoDB数据库中。通过定义函数实现数据的抓取、处理和存储，详细步骤包括设置请求头、发送POST请求、解析JSON数据、遍历并存储信息到MongoDB的集合中。

摘要由CSDN通过智能技术生成

前言
Python连接数据库是十分必要的操作，我这次用的是MongoDB数据库保存数据。这类的文章一般都不容易审核，所以就不多说废话，直接开搞，完整源码放在最后，有需要自取。

效果展示：
在这里插入图片描述
导入所需要的相关库

import requests
import pymongo

连接数据库并建库和集合名称自取

#指定本地地址和数据库连接端口号，环回口地址就可以。
client = pymongo.MongoClient(host='127.0.0.1',port=27017)
#创建数据库
db = client.shucai
#创建集合
collection = db.shucai

定义函数，为这个集合传数据，一个一个的传

#定义函数，为这个集合传数据，一个一个的传
def  save_mongo(dic):
    collection.insert_one(dic)

定义函数main，用来获取信息以及传参的操作。

def main():

以下都是函数命令
表单数据

#表单数据
    data = {
        'limit':'',
        'current':'',
        'pubDateStartTime':'',
        'pubDateEndTime':'',
        'prodPcatid':'',
        'prodCatid':'',
        'prodName':'',
    }

伪装头部

#伪装头部
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/.058.102 Safari/537.36'
    }

信息来源URL

#信息来源URL
    url = 'http://www.xinfadi.com.cn/getPriceData.html'

外层定义一个range（取前不取后）用来规定获取的页数

    #外层定义一个range（取前不取后）用来规定获取的页数
    for i in range(1,11,):
        #为表单传入数据，用来达到翻页的效果
        data = {'current':f'{i}'}
        #POST请求
        respomse = requests.post(url=url, data=data, headers=headers)
        #json格式数据
        d = respomse.json()
        li_list = d['list']
        print(li_list)

对响应进行字典进行遍历，利用键精确获取相应的值

        for li in li_list:
            prodCat = li['prodCat']
            prodPcat = li['prodPcat']
            prodName = li['prodName']
            lowPrice = li['lowPrice']
            avgPrice = li['avgPrice']
            highPrice = li['highPrice']
            place = li['place']
            specInfo = li['specInfo']
            unitInfo = li['unitInfo']
            pubDate = li['pubDate']
            print(prodCat,prodPcat,prodName,lowPrice,avgPrice,highPrice,place,specInfo,unitInfo,pubDate)

为获取到的信息取别称

 #为获取到的信息取别称
            dic = {
                '一级分类':prodCat,
                '二级分类':prodPcat,
                '菜名':prodName,
                '最低价':lowPrice,
                '平均价':avgPrice,
                '最高价':highPrice,
                '产地':place,
                '规格':specInfo,
                '单位':unitInfo,
                '日期':pubDate,
            }

将参数传入到MongoDB数据库集合内

  #将参数传入到MongoDB数据库集合内
            save_mongo(dic)

运行主函数

#运行主函数
main()

完整代码：

#导入数据库
import requests
import pymongo
#连接数据库
client = pymongo.MongoClient(host='127.0.0.1',port=27017)
#创建数据库库
db = client.shucai
#创建集合
collection = db.shucai
#定义函数，为这个集合传数据，一个一个的传
def  save_mongo(dic):
    collection.insert_one(dic)
#定义函数，用来获取信息以及传参的操作。
def main():
    #表单数据
    data = {
        'limit':'',
        'current':'',
        'pubDateStartTime':'',
        'pubDateEndTime':'',
        'prodPcatid':'',
        'prodCatid':'',
        'prodName':'',
    }
    #伪装头部
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/9
    }
    #信息来源URL
    url = 'http://www.xinfadi.com.cn/getPriceData.html'
    #外层定义一个range（取前不取后）用来规定获取的页数
    for i in range(1,11,):
        #为表单传入数据，用来达到翻页的效果
        data = {'current':f'{i}'}
        #POST请求
        respomse = requests.post(url=url, data=data, headers=headers)
        #json格式数据
        d = respomse.json()
        li_list = d['list']
        print(li_list)
        #对响应进行字典进行遍历，利用键精确获取相应的值
        for li in li_list:
            prodCat = li['prodCat']
            prodPcat = li['prodPcat']
            prodName = li['prodName']
            lowPrice = li['lowPrice']
            avgPrice = li['avgPrice']
            highPrice = li['highPrice']
            place = li['place']
            specInfo = li['specInfo']
            unitInfo = li['unitInfo']
            pubDate = li['pubDate']
            print(prodCat,prodPcat,prodName,lowPrice,avgPrice,highPrice,place,specInfo,unitInfo,pubDate)
            #为获取到的信息取别称
            dic = {
                '一级分类':prodCat,
                '二级分类':prodPcat,
                '菜名':prodName,
                '最低价':lowPrice,
                '平均价':avgPrice,
                '最高价':highPrice,
                '产地':place,
                '规格':specInfo,
                '单位':unitInfo,
                '日期':pubDate,
            }
            #将参数传入到MongoDB数据库集合内
            save_mongo(dic)
#运行主函数
main()