利用mongodb非关系型数据库存储爬取到的电影数据

import requests
import jsonpath
import pymongo

# 获取下载页数
number = input('请输入电影数量：')

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
}

# 定义网址
url = f'https://movie.douban.com/j/search_subjects?type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=rank&page_limit={number}&page_start=0'

# 发送请求并获取响应的数据
response = requests.get(url, headers=headers)

# 将获取的响应数据进行筛选
movie_title = jsonpath.jsonpath(response.json(), '$..title')
movie_url = jsonpath.jsonpath(response.json(), '$..url')

# 定义一个空白列表用来存放字典数据
movie_list = []

# 遍历出对应的电影名称和对应链接
for name, url in zip(movie_title, movie_url):
    # 定义一个字典来存放电影名称和链接
    movie_dict = {'name': name, 'url': url}
    # 将字典数据追加到列表中
    movie_list.append(movie_dict)

# 建立连接
client = pymongo.MongoClient()

# 指定数据库，如果不存在就创建
db = client['python_test']
# 指定当前数据库中的集合，不存在就创建
collection = db['movie']
# 新增数据
collection.insert_many(movie_list)
# 查询所有数据
data_list = collection.find()
# 遍历数据
for data in data_list:
    print(data)