python 爬虫抓取猫眼电影 top100 源码

最新推荐文章于 2024-08-09 22:15:00 发布

douguangyao

最新推荐文章于 2024-08-09 22:15:00 发布

阅读量5.2k

点赞数 1

分类专栏： python 文章标签： python 爬虫

本文链接：https://blog.csdn.net/douguangyao/article/details/77924681

版权

该博客详细介绍了如何使用Python爬虫从猫眼电影网站抓取Top100电影数据，包括电影排名、图片、名称、演员、上映时间和评分。通过正则表达式解析HTML内容，并将数据存储为JSON格式写入文本文件。同时，利用多线程提高爬取效率。

摘要由CSDN通过智能技术生成

#根据崔大庆视频整理

import requests
import re
import json
from requests.exceptions import RequestException
from multiprocessing import Pool
from bs4 import BeautifulSoup

#获取html 的文本 键  值
def getOnePage(url):
    try:
        headers = {
            'Host': 'maoyan.com',
            'User-Agent': 'User-Agent  Mozilla/5