Python scrapy爬虫框架简介

安装准备

需要安装Python2.7/3.5 需要安装scrapy库：pip install scrapy
Windows下还需要安装win32py扩展包：安装参考另一篇文章http://blog.csdn.net/u010129985/article/details/69257887

scrapy

scrapy的每个item对象都表示一个网页，里面可以定义各种属性，比如：标题，时间，内容等 自定义的item一般都会继承Item
items.py

class Article(Item):
    title=Field()

详细文章参考：
整体项目结构介绍：（包含项目，但是虎嗅网好像限制爬虫，所以运行不了）
https://www.xncoding.com/2016/03/10/scrapy-02.html

参考二：http://www.pythontip.com/blog/post/1985/

已测试可用示例：

维基百科采集

1 生成项目
scrapy startproject wikiSpider wikiSpider是项目名称
2 编辑items.py文件

import scrapy
from scrapy import Item,Field

class Article(Item):
    title=Field()

在spiders文件夹下建一个处理文件articleSpider.py

from scrapy.contrib.spiders import CrawlSpider, Rule
from wikiSpider.items import Article
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy import log

class ArticleSpider(CrawlSpider):
    #log.start(logfile='log.txt', loglevel=log.CRITICAL)
    name="article"
    allowed_domains = ["en.wikipedia.org"]
    start_urls = ["http://en.wikipedia.org/wiki/Python_%28programming_language%29"]
    rules = [
        Rule(SgmlLinkExtractor(allow=('(/wiki/)((?!:).)*$'),), callback="parse_item", follow=True)
    ]

    def parse_item(self, response):
        item = Article()
        title = response.xpath('//h1/text()')[0].extract()
        print("Title is: "+title)
        item['title'] = title
        return item

介绍：name很关键 scrapy crawl article 运行爬虫项目时指定的参数就是这个name，allowed_domains表示能够被采集的站点 ；在piplines.py文件里可定义一定不会采集的站点；start_urls说明该爬虫从哪个URL开始爬；parse()是默认的采集回调，当采集到一个网页后自动调用该方法，该方法只接受一个response参数表示网页体；CrawlSpider是框架提供的一个爬虫基础类(Spider>BaseSpider>CrawlSpider) ; Rule为规则对象，主要用来筛选网页元素；SgmlLinkExtractor实现规则allow表示允许通过的链接，deny=(‘deny.php’, )表示不被允许的链接 ；callback指定回调函数，上面放弃了默认的回调parse() ；response是下载的网页流（字符串） 本咧中用的Xpath选择器，同时还可以用beautifulsoup来解析，lxml来解析（Scrapy选择器构建在lxml基础之上，所以可以保证速度和准确性。）

Xpath语法

//div/li 选择所有div下的li标签
a/@href  选择所有a标签的属性href 
a/text() 选择a标签的文本
a[@href="/abc"] 选择a标签且href属性为“/abc”
text()表示选择文本
//div[@class="mod-info-flow"]/div/div[@vlass="mob-ctt"] 表示选择所有div标签且div的class为mod-info-flow再选择该div下的div再下面的div且该div class为mod-ctt
Xpath选择器返回的是一个序列
item['link']=sel.xpath('h2/a/@href')[0].extract() 表示选择序列第一个对象，extract()表示提取出结果

callback指定的回调都会返回一个结果序列，这个序列可以用来输出到文件；如果是全网站爬虫，需要对xpath解析后的链接再次执行需要返回一个Request序列 进行下一步处理，如：
yield scrapy.Request(url,callback=self.parse_article) 把xpath提取出来的URL交付给下一个回调处理，yield表示提供一个生成器，这个生成器可以用来迭代

输出日志

scrapy crawl article -s LOG_FILE=wiki.log

输出采集结果到文件

scrapy crawl article -o articles.json/csv/xml -t json/csv/xml