python使用selenium爬取斗鱼房间数据并写入mongodb数据库

本篇文章是对之前斗鱼爬虫的修改，将爬取到的数据直接写入mongodb数据库中

（今天学习到mongodb）

from selenium import webdriver
import time
from pymongo import MongoClient

#连接到douyu数据库
db = MongoClient(host="127.0.0.1", port=27017).douyu

url = "https://www.douyu.com/directory/all"

Gdriver = webdriver.Chrome()

# 发送请求
Gdriver.get(url)

#打开浏览器后等待几秒，让页面加载完成
time.sleep(3)

next_page = True
while next_page is not None:
    # 提取数据
    room_list = Gdriver.find_elements_by_xpath("//li[@class = 'layout-Cover-item']")
    content_list = []   #一个存放字典的列表
    for i in room_list:
        room_dict = {}
        room_dict["标题"] = i.find_element_by_xpath(".//h3[@class='DyListCover-intro']").get_attribute("title")
        room_dict["类型"] = i.find_element_by_xpath(".//span[@class='DyListCover-zone']").text
        room_dict["主播name"] = i.find_element_by_xpath(".//h2[@class='DyListCover-user']").text
        room_dict["热度"] = i.find_element_by_xpath(".//span[@class = 'DyListCover-hot']").text
        print(room_dict)

        #将数据写入数据库
        db.aa.insert_one(room_dict)

    # 请求下一页地址，循环
    next_page = Gdriver.find_element_by_xpath("//li[@class=' dy-Pagination-next']/span")
    next_page.click()  #点击下一页
    time.sleep(3)  #睡眠3秒

#退出浏览器
Gdriver.quit()

数据库代码部分如下

#连接到douyu数据库
db = MongoClient(host="127.0.0.1", port=27017).douyu

  #将数据写入数据库
  db.aa.insert_one(room_dict)

运行截图如下

在PyCharm运行

在数据库终端查看数据插入情况

现在pymongo库中使用insert插入已经放弃了，可以使用insert_one或insert_many