python爬虫之猫眼视频Top100

最新推荐文章于 2024-03-22 19:32:14 发布

jia666666

最新推荐文章于 2024-03-22 19:32:14 发布

阅读量737

点赞数

分类专栏： python爬虫实战文章标签： python爬虫猫眼视频Top100

本文链接：https://blog.csdn.net/jia666666/article/details/82154313

版权

python爬虫实战专栏收录该内容

18 篇文章 12 订阅

订阅专栏

目的

猫眼视频Top100电影榜单
具体需求

源码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author  : jia666
# @Time    : 2020/08/28 9:57
import re
import requests

class TOP_100(object):
    def __init__(self):
        self.sec = requests.session()
        self.sec.headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
        }

        self.main() #主逻辑

    def get_one_page(self, url):
        # 异常处理
        try:
            # 发送请求
            response = self.sec.get(url)
            self.sec.close()
            # 判断网页状态码是否成功获取网页
            if response.status_code == 200:
                return response.text
            return None
        except Exception:
            # 其他返回None
            return None

    def parse_one_page(self,html):
        # print(html)
        # 利用正则表达式进行信息过滤
        self.rank_numm=re.findall('<i class="rank-number" data-reactid=".*?">(.*?)<\/i>',html,re.S)

        self.title_name = re.findall('<h3 class="title" data-reactid=".*?">(.*?)<\/h3>', html, re.S)

        self.actors = re.findall('<div class="actors" data-reactid=".*?">(.*?)<\/div>', html, re.S)

        self.date = re.findall('<div class="date" data-reactid=".*?">(.*?)<\/div>', html, re.S)[1:]

        self.score = re.findall('<span class="number" data-reactid=".*?">(.*?)<\/span>', html, re.S)

    def write_to_file(self):
        # 写入信息
        with open("猫眼电影Top100.txt", 'a+', encoding='utf-8') as f:
            for i in range(len(self.rank_numm)):
                # 格式整理
                item = "排名" + ":" + self.rank_numm[i] + '\n' + \
                       "电影名称" + ':' + self.title_name[i] + '\n' + \
                       "演员" + ':' + self.actors[i] + '\n' + \
                       "上映时间" + ':' + self.date[i] + '\n' + \
                       "评分" + ':' + self.score[i] + '\n\n'
                # 写入
                f.write(str(item) + '\n')
        # 关闭
        f.close()

    def main(self):
        # 设置UA，模拟浏览器

        # 生成url
        url = 'https://m.maoyan.com/board/4'


        # 获取返回的网页
        html = self.get_one_page(url)
        # 解析网页，进行信息筛选
        items = self.parse_one_page(html)
        # 信息写入
        self.write_to_file()


if __name__ == '__main__':
    print("开始抓取猫眼TOP100电影榜单................")

    TOP_100()

    print("猫眼TOP100电影榜单写入完成................")