scrapy小实例

1.在安装好scrapy后，使用scrapy startproject +项目名来创建一个scrapy项目，如下图即创建成功：

2. 使用tree命令可以查看项目的目录结构：

3.进入spilder目录下，使用：scrapy genspider +文件名+网址  命令来创建一个爬虫文件：

4.可以使用命令：

     scrapy list ：来查看列出当前项目中的所有可用爬虫

     scrapy check：运行 contract 检查

     scrapy crawl +爬虫名（不是文件名）：使用爬虫开始爬行

5.运行后并没有什么变化，我们改一下刚生成的Duba.py文件。

# -*- coding: utf-8 -*-
import scrapy

class DubaSpider(scrapy.Spider):
    name = 'Duba'
    allowed_domains = ['www.douban.com']
    start_urls = ['https://www.douban.com/']

    def parse(self, response):
       print(response.body)
        #pass
 

发现豆瓣并爬不到东西，这个可能是豆瓣做了一定的防爬虫处理，因为我们还没有设置一些头信息，所以很容易被识别的。

我又换了一下淘宝的：

# -*- coding: utf-8 -*-
import scrapy

class DubaSpider(scrapy.Spider):
    name = 'Duba'
    allowed_domains = ['www.taobao.com']
    start_urls = ['https://www.taobao.com/']

    def parse(self, response):
       print(response.body)
        #pass
 

果然，淘宝的页面数据是可以正常输出的。接下来对数据就交给item管道（Item pipeline）去处理。

注意：有可能会出现DNS lookup failed:No results for hostname lookup:http，这样的问题。可以修改setting.py文件，将ROBOTSTXT_OBEY = True 改为False就可以了。

接下来我们在settings.py文件中添加USER_AGENT 信息，再爬一下，OK，可以正常爬到网页啦