python爬虫之——Scrapy框架学习

一、下载安装Scrapy框架

1.安装Scrapy框架所需要的库

①安装pywin32

pip install pywin32

②安装Twisted

Scrapy需要依赖Twisted。Twisted是Python中的一个非常重要的基于事件驱动的异步输入/输出（Input/Output, I/O）引擎。

pip install twisted

③安装scrapy

pip install scrapy

安装完成后输入命令scrapy -h查看是否安装成功，若出现'scrapy' 不是内部或外部命令，也不是可运行的程序或批处理文件，查看是否配置了环境变量，若没有添加一行红框中的内。

 再退出终端，重新输入scrapy -h

二、新建项目

进入到自己的工作目录，输入如下命令scrapy startproject mySpider

其中， mySpider 为项目名称，可以看到将会创建一个 mySpider 文件夹，目录结构大致如下：

 

这些文件分别是:

• scrapy.cfg: 项目的配置文件。
• mySpider/: 项目的Python模块，将会从这里引用代码。
• mySpider/items.py: 项目的目标文件。
• mySpider/pipelines.py: 项目的管道文件。
• mySpider/settings.py: 项目的设置文件。
• mySpider/spiders/: 存储爬虫代码目录

1.新建第一个爬虫，爬数据

在图中可以看到，创建完成工程以后，Scrapy有以下的提示：

you can start your first spider with:
cd mySpider
scrapy genspider example example.com

这个提示的意思是说，可以通过下面的两条命令来创建第一个爬虫。根据它的说明来执行命令：

①我们进入到mySpider\spiders目录下，创建一个爬虫

scrapy genspider itcast "itcast.cn"

注意：在scrapy genspider命令中，有两个参数，“example”和“example.com”。其中，

第1个参数“example”是爬虫的名字，这个名字可以取英文和数字的组合，但是绝对不能为“scrapy”或者工程的名字。在现在这个例子中，爬虫的工程名为“mySpider”，所以这里的第1个参数也不能为“mySpider”。 

第2个参数“example.com”是需要爬取的网址。读者可以修改为任何需要爬取的网址。

需要注意的是，在这个例子中，“itcast.cn”没有加“www”，这是因为在浏览器中直接输“itcast.cn”就可以打开我需要爬取的网页首页。如果有一些网址需要添加二级域名才能访问，那么这里也必须要把二级域名加上。例如：

scrapy genspider news news.163.com

②现在已经把爬虫创建好了，在PyCharm中打开Scrapy的工程，可以看到在spiders文件夹下面有一个itcast.py

其实也可以由我们自行创建itcast.py并编写上面的代码，只不过使用命令可以免去编写固定代码的麻烦

要建立一个Spider， 你必须用scrapy.Spider类创建一个子类，并确定了三个强制的属性 和 一个方法。

name = "" ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。

allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。

start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。

parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下：

负责解析返回的网页数据(response.body)，提取结构化数据(生成item)，生成需要下一页的URL请求。将start_urls的值修改为需要爬取的第一个url。

start_urls = ['https://www.itcast.cn/channel/teacher.shtml#ajavaee']

修改parse()方法

    def parse(self, response):
        filename = 'teacher.html'
        open(filename, 'w').write(response.body)

然后运行一下看看，在mySpider目录下执行：

scrapy crawl itcast

如果打印的日志出现 [scrapy] INFO: Spider closed (finished)，代表执行完成。 之后当前文件夹中就出现了一个 teacher.html 文件，里面就是我们刚刚要爬取的网页的全部源代码信息。

 遇到的问题：

start_urls = ['https://www.itcast.cn/channel/teacher.shtml'] #刚开始的url代码
start_urls = ['https://www.itcast.cn/channel/teacher.shtml#ajavaee'] #后面修改的url代码

①url地址有误导致报错： INFO: Ignoring response <404 https://www.itcast.cn/channel/teacher.shtml/>: HTTP status code is not handled or not allowed

②TypeError: write() argument must be str, not bytes

#原来的代码   
 def parse(self, response):
        filename = 'teacher.html'
        open(filename, 'w').write(response.body)

#修改后的代码
    def parse(self, response):
        filename = 'teacher.html'
        open(filename, 'wb').write(response.body)

2.取数据

修改itcast.py文件

import scrapy
from mySpider.items import ItcastItem

class ItcastSpider(scrapy.Spider):
    name = 'itcast'
    allowed_domains = ['itcast.cn']
    start_urls = ['https://www.itcast.cn/channel/teacher.shtml#ajavaee']

    def parse(self, response):
        # filename = 'teacher.html'
        # open(filename, 'wb').write(response.body)
        # 存放老师信息的合集
        items = []
        for each in response.xpath("//div[@class='li_txt']"):
            # 将我们得到的数据封装到一个"ItcastItem"对象
            item = ItcastItem()
            #extract()方法返回的都是unicode字符串
            name = each.xpath("h3/text()").extract()
            title = each.xpath("h4/text()").extract()
            info = each.xpath("p/text()").extract()
            # xpath返回的是包含一个元素的列表
            item['name'] = name[0]
            item['title'] = title[0]
            item['info'] = info[0]
            items.append(item)
            # 直接返回最后数据
        return items

3.保存数据

scrapy crawl itcast -o teachers.csv

三、制作 Scrapy 爬虫 一共需要4步：

1. 新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目
2. 明确目标 （编写items.py）：明确你想要抓取的目标
3. 制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页
4. 存储内容 （pipelines.py）：设计管道存储爬取内容

原文链接：Scrapy 入门教程 | 菜鸟教程 (runoob.com)