scrapy爬取诗词网

最新推荐文章于 2022-06-24 14:32:05 发布

weixin_42389277

最新推荐文章于 2022-06-24 14:32:05 发布

阅读量445

点赞数

分类专栏：学习文章标签：爬虫入门诗词网 scrapy

本文链接：https://blog.csdn.net/weixin_42389277/article/details/82729500

版权

初学者通过Scrapy框架编写代码，成功爬取了一个诗词网站的数据，包括诗词内容及作者等信息。

摘要由CSDN通过智能技术生成

入门scrapy不久,尝试着写一段代码爬取诗词网.
spider如下:

class ShiciSpider(scrapy.Spider):
    name = 'shici'
    url = 'http://www.shicimingju.com/chaxun/zuozhe/44_'
    page = 1
    start_urls = [url + str(page) +'.html']

    def parse(self, response):
        #判断是否是主页
        judge = response.xpath('//head/title/text()').extract_first()
        if judge ==