二级爬取猫眼电影

最新推荐文章于 2021-09-04 23:32:40 发布

回眸忆梦

最新推荐文章于 2021-09-04 23:32:40 发布

阅读量338

点赞数

分类专栏：爬虫

本文链接：https://blog.csdn.net/qq_46689983/article/details/106796598

版权

本文介绍如何进行二级爬取，获取猫眼电影的详细信息，包括电影名称、主演、上映时间以及用户评论，并将数据和相关图片保存到指定路径。

摘要由CSDN通过智能技术生成

爬取：电影名称+主演+时间+评论+保存图片到指定路径

from urllib import request
import re
import random
from day01_爬虫.useragents import ua_list
import os

class MaoyanSpider(object):
    def __init__(self):
        self.url="https://maoyan.com/board/4?offset={}"

    #获取响应内容
    def get_html(self,url):
        headers = {
   "User-Agent": random.choice(ua_list)}  # 随机获取请求头
        req = request.Request(url=url, headers=headers)
        res = request.urlopen(req)
        html = res.read()
        return html

    #解析提取数据
    def re_func(self,re_bds,