最流行的python爬虫框架_Python最火爬虫框架Scrapy入门与实践

Scrapy框架简介Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。

Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。

Scrapy架构图(绿线是数据流向)：

- Scrapy Engine(引擎)：负者Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据转递等。 - Scheduler(调度器) ：它负责接受引擊发送过来的Request请求,并按照一定的方式进行整理排列，入 队,当引擎需要时，交还给引擎。 - Downloader (下载器)：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的 Responses交还给Scrapy Engine(引擎) ，由引擎交给Spider来处理。 - Spider (爬虫) ：它负责处理所有Responses，从中分析提取数据，获取Item字段需要的数据,并将需要 跟进的URL提交给引擎，再次进入Scheduler(调度器)。 - Item Pipeline(管道) ：它负责处理Spider 中获取到的Item ，并进行进行后期处理(详细分析、过滤、 存储等)的地方。 - Downloader Middlewares (下载中间件) : 你可以当作是一个可以自定义扩 展下载功能的组件。 - Spider Middlewares (Spider中间件) : 你可以理解为是一个可以自定扩展和操作引擎和Spider中 间通信的功能组件(比如进入Spider的Responses;和从Spider出去的Requests )

制作 Scrapy 爬虫 一共需要4步：新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目

明确目标 (编写items.py)：明确你想要抓取的目标

制作爬虫 (spiders/xxspider.py)：制作爬虫开始爬取网页

存储内容 (pipelines.py)：设计管道存储爬取内容

入门案例

分析： 1. 创建一个Scrapy项目。 2. 定义提取的结构化数据(Item)。 3. 编写爬取网站的Spider并且提取出结构化数据(Item)。 4. 编写Item Pipelines 来存储提取到的Item(即结构化数据)。

一、新建scrapy项目工程(scrapy startproject)

在开始爬取之前，必须创建一个新的Scrapy项目，进入自定义的项目目录中。运行下列命令： 在pycharm界面中打开 View --> Tool Windows --> Terminal

==(1) 验证scrapy是否成功安装：== 在Terminal中输入 scrapy 看看是否显示scrapy信息 倘若出现：=='scrapy' 不是内部或外部命令，也不是可运行的程序或批处理文件。==

①、碰到这个问题，一般是pip重装或者升级过导致的，这里的解决方案是:先运行pip uninstall scrapy卸载scrapy。 ②、这里会提示是否继续，输入y然后回车即可。 ③、接下来重新安装scrapy，pip install scrapy。 ④、安装完成之后，输入scrapy运行测试

==(2)创建scrapy项目工程== 在Terminal中输入：

# scrapy startproject + 自定义的项目名称Scrapy startproject ITcast

成功创建项目的目录为：

文件说明： - scrapy.cfg 项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。(真正爬虫相关的配置信息在settings.py文件中) - items.py：设置数据存储模板，用于结构化数据，如：Django的Model - pipelines.py：数据处理行为，如：一般结构化的数据持久化 - settings.py：配置文件，如：递归的层数、并发数，延迟下载等 - spiders：爬虫目录，如：创建文件，编写爬虫规则

==(3)创建写爬虫的文件==

# scrapy genspider +名称 + '网站'#建立爬虫文件scrapy genspider itcast "itcast.cn"

结果为：

二、制作爬虫

1. 爬数据

打开 ITcast/spider目录里的 itcast.py，默认增加了下列代码:

# -*- coding: utf-8 -*-

import scrapy

class ItcastSpider(scrapy.Spider):

name = 'itcast'

allowed_domains = ['itcast.cn']

start_urls = ['http://itcast.cn/']

def parse(self, response):

pass

也可以自行创建itcast.py并编写上面的代码，只不过使用命令可以免去编写固定代码的麻烦要建立一个Spider， 你必须用scrapy.Spider类创建一个子类，并确定了三个强制的属性 和 一个方法。

name = "" ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。

allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。

start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。

parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下： 负责解析返回的网页数据(response.body)，提取结构化数据(生成item) 生成需要下一页的URL请求。

将start_urls的值修改为需要爬取的第一个url

start_urls = ['http://www.itcast.cn/channel/teacher.shtml']

2. 取数据

爬取整个网页完毕，接下来的就是的取过程了，首先观察页面源码：

xpath 方法，我们只需要输入的 xpath 规则就可以定位到相应 html 标签节点。 Chrome 给我们提供了一键获取 xpath 地址的方法(右键->检查->copy->copy xpath),如下图:

/html/head/title: 选择HTML文档中

标签内的 元素

/html/head/title/text(): 选择上面提到的

元素的文字

//td: 选择所有的

元素

//div[@class="mine"]: 选择所有具有 class="mine" 属性的 div 元素

3、编写代码

需要编写四个相关联的文件：itcast.py、items.py、settings.py、pipelines.py (管道文件)。 (1) itcast.py

# -*- coding: utf-8 -*-

import scrapy

#导入容器

from ITcast.items import ItcastItem

class ItcastSpider(scrapy.Spider):

# 爬虫名 启动爬虫时需要的参数*必需

name = 'itcast'

# 爬取域范围 允许爬虫在这个域名下进行爬取(可选) 可以不写

allowed_domains = ['itcast.cn']

#起始url列表 爬虫的第一批请求，将求这个列表里获取

start_urls = ['http://www.itcast.cn/channel/teacher.shtml']

def parse(self, response):

node_list = response.xpath("//div[@class='li_txt']")

for node in node_list:

#创建item字段对象，用来存储信息

item = ItcastItem()

# .extract() 将xpath对象转换围殴Unicode字符串

name = node.xpath("./h3/text()").extract()

title = node.xpath("./h4/text()").extract()

info = node.xpath("./p/text()").extract()

item['name'] = name[0]

item['title'] = title[0]

item['info'] = info[0]

#返回提取到的每一个item数据 给管道文件处理，同时还会回来继续执行后面的代码

yield item

(2)items.py

# -*- coding: utf-8 -*-

# Define here the models for your scraped items

#

# See documentation in:

# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class ItcastItem(scrapy.Item):

# define the fields for your item here like:

# 与itcast.py 定义的一一对应

name = scrapy.Field()

title = scrapy.Field()

info = scrapy.Field()

#pass

(3)settings.py 找到以下字段，取消字段的注释。

ITEM_PIPELINES = {

'ITcast.pipelines.ItcastPipeline': 100, #值越小优先级越高

}

(4) pipelines.py (管道文件)

import json

class ItcastPipeline(object):

def __init__(self):

#python3保存文件 必须需要'wb' 保存为json格式

self.f = open("itcast_pipeline.json",'wb')

def process_item(self, item, spider):

#读取item中的数据 并换行处理

content = json.dumps(dict(item),ensure_ascii=False) + ',\n'

self.f.write(content.encode('utf=8'))

return item

def close_spider(self,spider):

#关闭文件

self.f.close()

4、结果展示 执行文命令行： scrapy crawl + 爬虫文件的名称。 在Terminal中输入 scrapy crawl itcast 执行scrapy项目，生成json文件：

4. 保存数据

scrapy保存信息的最简单的方法主要有四种，-o 输出指定格式的文件，命令如下：

scrapy crawl itcast -o teachers.json

csv 逗号表达式，可用Excel打开

scrapy crawl itcast -o teachers.csv

xml格式

scrapy crawl itcast -o teachers.xml

==对于了解更多实战案例 和 如何爬取"下一页面"的用法，可以参考文章==Scrapy糗事百科爬虫实战代码分析