用Scrapy爬动画列表

最新推荐文章于 2025-02-18 22:09:34 发布

炒鸡嗨客协管徐

最新推荐文章于 2025-02-18 22:09:34 发布

阅读量839

点赞数 1

分类专栏：脑洞小程序文章标签：爬虫 Scrapy

本文链接：https://blog.csdn.net/xfgryujk/article/details/78147566

版权

数据来源：

番组计划
动漫花园

爬动漫花园的话要设置ROBOTSTXT_OBEY = False

items.py

import scrapy


class AnimeItem(scrapy.Item):
    name = scrapy.Field()
    sub_name = scrapy.Field()

bangumi_spider.py

import scrapy
from Bangumi.items import *


class BangumiSpider(scrapy.Spider):
    name = 'BangumiAll'
    allowed_domains = ['bangumi.tv']
    start_urls = [
        'http://bangumi.tv/anime/browser/tv/airtime/2017?sort=date',
        'http://bangumi.tv/anime/browser/ova/airtime/2017?sort=date',
        'http://bangumi.tv/anime/browser/movie/airtime/2017?sort=date'
    ]

    def parse(self, response):
        for li in response.xpath('//ul[@id="browserItemList&#