猫眼top100部高分电影spider

Damingxkl

于 2019-10-30 21:56:17 发布

阅读量446

点赞数 1

分类专栏： Spider 文章标签： MaoyanSpider

本文链接：https://blog.csdn.net/weixin_43331684/article/details/102828044

版权

Spider 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了一个使用Python进行的猫眼电影榜单爬虫项目，通过requests库获取网页数据，利用正则表达式解析并提取了电影名称、主演、上映时间及评分等关键信息。该教程适合初学者实践，了解网页数据抓取的基本流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第一次尝试Spider,是个突破

#encoding=utf-8

import requests
import re

class MaoYantop:
    def __init__(self):
        self.url = "https://maoyan.com/board/4?offset={}"
        self.headers = {"user-agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36"}
        self.rank = 0

    def get_url_list(self):
        return [self.url.format(i*10) for i in range(10)]

    def parse_url(self, url):
        response = requests.get(url, headers=self.headers)
        return response.content.decode()

    def run(self):
        #1.生成url列表
        url_list = self.get_url_list()
        #2.发送请求
        for url in url_list:
            html_str = self.parse_url(url)
            #3.正则表达式匹配需要的内容
            ret = re.findall(r'title="(.*?)".*?(主演.*?)\n.*?(上映时间.*?)</p>.*?<i class="integer">(\d\.?).*?(\d)</i></p>',html_str,re.S)
            for temp in ret:
                self.rank += 1 # 排名
                print(self.rank, temp)


if __name__ == "__main__":
    maoyantop = MaoYantop()
    maoyantop.run()