使用request与正则表达式爬取bangumi动画排行榜

最新推荐文章于 2025-01-17 09:42:16 发布

weixin_34101229

最新推荐文章于 2025-01-17 09:42:16 发布

阅读量543

点赞数

文章标签：操作系统

原文链接：http://www.cnblogs.com/wdl1078390625/p/9876371.html

版权

本文介绍了一种使用Python的requests和re模块爬取Bangumi网站动画排名信息的方法。通过定义函数get_one_page()获取网页内容，parse_one_page()解析HTML并提取动画名称和排名，实现了对多页数据的抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import json
import requests
from requests.exceptions import RequestException
import re
import time


def get_one_page(url):
    try:
        headers = {
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'
        }
        response = requests.get(url, headers=headers) if response.status_code == 200: return response.content.decode('utf-8') return None except RequestException: return None def parse_one_page(html): pattern = re.compile( '<h3>.*?class="l">(.*?)</a>.*?<small>Rank.*?</small>(\d+)</span>', re.S) items = re.findall(pattern, html) print(items) def main(offset): url = 'http://bangumi.tv/anime/browser?sort=rank&page=' + str(offset) html = get_one_page(url) parse_one_page(html) if __name__ == '__main__': for i in range(1,20): main(offset=i) time.sleep(1)

转载于:https://www.cnblogs.com/wdl1078390625/p/9876371.html