python数据保存到mongodb

本文主要介绍MongoDB和python的连接,将python爬取的数据保存到MongoDB中。
以虎扑网为例,爬取网站的文章标题,连接,作者等信息,并保存到MongoDB中。

虎扑步行街:https://bbs.hupu.com/bxj
在这里插入图片描述
所有我们需要的数据都包含在这个 ‘ul’,class_="for-list"里
在这里插入图片描述
现在开始爬取并保存数据:

导入相关python库

import requests
from bs4 import BeautifulSoup
import time
import random
from pymongo import MongoClient

定义方法来获取当前网页的所有文章信息

def get_information(page=0):

    url = 'https://bbs.hupu.com/bxj-postdate-' + str(page+1)
    headers={
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36",
        "Referer": "https://bbs.hupu.com/bxj"
    }
    r = requests.get(url,headers=headers)
    soup = BeautifulSoup(r.content.decode("utf-8"),"html.parser")
    out = soup.find("ul",attrs={"class":"for-list"})
    datas = out.find_all('li')
    datas_list = []
    try:
        for data in datas:
            title = data.find('a', attrs={"class":"truetit"}).text.split()[0]
            artical_link = "https://bbs.hupu.com" + data.find('a', attrs={"class": "truetit"}).attrs['href']
            author = data.find('a', class_="aulink").text
            author_link = data.find('a', class_="aulink").attrs['href']
            create_time = data.find('a', style="color:#808080;cursor: initial; ").text
            reply_num = data.find('span', class_='ansour box').text.split("/")[0]
            lastest_reply = data.find('span', class_='endauthor').text
            lastest_reply_time = data.find('div', class_='endreply box').a.text

            datas_list.append({"title":title,"artical_link":artical_link,"author":author,"author_link":author_link,"create_time":create_time,"reply_num":reply_num,"lastest_reply":lastest_reply,"lastest_reply_time":lastest_reply_time})
    except:
        None
    return datas_list

定义类来保存数据到MongoDB中:

class MongoAPI():
    def __init__(self,db_ip,db_port,db_name,table_name):
        self.db_ip = db_ip
        self.db_port = db_port
        self.db_name = db_name
        self.table_name = table_name

        self.conn = MongoClient(host=self.db_ip, port=self.db_port)
        self.db = self.conn[self.db_name]    # 连接数据库
        self.table = self.db[self.table_name]    # 连接集合

    def get_one(self,query):    # 获取一条数据
        return self.table.find_one(query, projection={"_id":False})
    def get_all(self,query):    # 获取满足条件所有数据
        return self.table.find(query)
    def add(self,kv_dict):    # 新增数据
        return self.table.insert(kv_dict)
    def delete(self, query):    # 删除数据
        return self.table.delete_many(query)
    def check_exist(self,query):    # 查看数据是否已经存在
        ret = self.table.find_one(query)
        return ret != None
    def update(self,query,kv_dict):    # 更新数据(新增)
        self.table.update_one(query,{'$set': kv_dict}, upsert=True)

运行程序(这里只爬取前10页数据):

if __name__ == "__main__":
	hupu_data = MongoAPI('localhost', 27017, 'hupu', 'data')
		for page in range(10):
    		datas = get_information(page)
    		for data in datas:
        		hupu_data.add(data)
    		print("正在爬取第%s页"%(page+1))
    		time.sleep(1+random.random()*2)

进入MongoDB查看数据:
在这里插入图片描述
也可以使用表格的方式查看:
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值