Scrapy框架爬取古诗文网站

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

提示：所有的命令都在Timinal中输入运行：

古诗文网站：推荐名句_古诗文网 (gushiwen.cn)

访问古诗文网站，使用Scrapy框架编写爬虫程序，爬取每个名句及其完整古诗内容，并将爬取到的数据分别保存到文本文件data.txt中。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、PyCharm创建工程

项目名称：ScrapyProject

二、安装scrapy框架

1.在Terminal中使用命令安装

pip install scrapy

若下载速度较慢，可以添加镜像源

pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple/

2.创建scrapy爬虫框架现相关的目录文件

创建Scrapy项目，格式为：scrapy startproject scrapy项目名称

scrapy startproject poemScrapy

创建好scrapy项目之后刷新ScrapyProject， 会出现上图中显示的文件，其中
spiders目录：里面包含爬虫文件，是需要编码实现的

__init__.py：项目初始化文件，可以不添加内容，但该文件必须存在

items.py：数据容器文件，也有人称为模型文件，定义要获取的数据，存放爬取的字段

middlewares.py：中间件文件

pipelines.py：管道文件，对item中的数据进一步加工处理，比如将抓取的数据存入数据库

settings.py：设置文件，设置爬虫项目的信息

scrapy.cfg：配置文件，设置爬虫启用功能等等

3.构建爬虫内容

进入scrapy项目目录

cd poemScrapy

构建爬虫文件，格式为：scrapy genspider 爬虫文件名称 爬虫网址

scrapy genspider poemSpider gushiwen.cn

4.填充内容

items.py文件

import scrapy

class PoemscrapyItem(scrapy.Item):
    # 名句
    sentence = scrapy.Field()
    # 出处
    source = scrapy.Field()
    # 全文链接
    url = scrapy.Field()
    # 名句详细信息
    content = scrapy.Field()

poemSpider.py文件

import scrapy
from scrapy import Request
from ..items import PoemscrapyItem

class PoemspiderSpider(scrapy.Spider):
    name = 'poemSpider'   # 用于区别不同的爬虫
    allowed_domains = ['gushiwen.cn']  # 允许访问的域
    start_urls = ['http://so.gushiwen.cn/mingjus/']  # 爬取的地址

    def parse(self, response):
        # 先获每句名句的div
        for box in response.xpath('//*[@id="html"]/body/div[2]/div[1]/div[2]/div'):
            # 获取每句名句的链接
            url = 'https://so.gushiwen.cn' + box.xpath('.//@href').get()
            # 获取每句名句内容
            sentence = box.xpath('.//a[1]/text()') .get()
            # 获取每句名句出处
            source = box.xpath('.//a[2]/text()') .get()
            # 实例化容器
            item = PoemscrapyItem()
            # 将收集到的信息封装起来
            item['url'] = url
            item['sentence'] = sentence
            item['source'] = source
            # 处理子页
            yield scrapy.Request(url=url, meta={'item': item}, callback=self.parse_detail)
        # 翻页
        next = response.xpath('//a[@class="amore"]/@href'). get()
        if next is not None:
            next_url = 'https://so.gushiwen.cn' + next
            # 处理下一页内容
            yield Request(next_url)

    def parse_detail(self, response):
        # 获取名句的详细信息
        item = response.meta['item']
        content_list = response.xpath('//div[@class="contson"]//text()').getall()
        content = "".join(content_list).strip().replace('\n', '').replace('\u3000', '')
        item['content'] = content
        yield item

pipelines.py文件

import json

class PoemscrapyPipeline:
    def __init__(self):
        # 打开文件
        self.file = open('data.txt', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        # 读取item中的数据
        line = json.dumps(dict(item), ensure_ascii=False) + '\n'
        # 写入文件
        self.file.write(line)
        return item

settings.py

BOT_NAME = 'poemScrapy'

SPIDER_MODULES = ['poemScrapy.spiders']
NEWSPIDER_MODULE = 'poemScrapy.spiders'

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4421.5 Safari/537.36'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

# 设置日志打印的等级
LOG_LEVEL = 'WARNING'

ITEM_PIPELINES = {
    'poemScrapy.pipelines.PoemscrapyPipeline': 1,
}

三、运行程序

1.方式一

在终端中输入命令运行，格式为：scrapy crawl 爬虫文件名称

scrapy crawl poemSpider

生成data.txt文件

2.方式二

在scrapy项目目录poemScrapy，创建新的Python File文件（要求：与scrapy.cfg同一目录）run.py

run.py文件添加以下内容

from scrapy import cmdline
cmdline.execute("scrapy crawl poemSpider".split())

鼠标右键运行run.py文件，即可生成data.txt