基于Scrapy框架的python网络爬虫（1）

1、搭建环境

这里我使用的是anaconda，anaconda里面集成了很多关于python科学计算的第三方库，主要是安装方便，anaconda中自带Spyder。
这里下载anaconda
比较推荐使用Python2.7
在anaconda下安装Scrapy也很简单！CMD进入命令行，直接输入conda install scrapy，然后点“y”,很简单就可以安装成功。
这样就搭建好了环境。

2、初步了解Scrapy

Scrapy官网教程，建议看看哦
首先应该解决的是如何创建一个新的scrapy项目

• 从命令行进入要创建新项目的目录下，scrapy startproject newone
  
• 打开目录即可看到一个新的文件夹，打开文件夹可以看到：
  
• 其中，items.py中的items作为加载所爬取数据的容器，它的结构像Python中的字典一样。打开你的items.py可以看到如下代码：
  name = scrapy.Field()就是一个典型的item，用来作为所爬取的name项的容器

class NewoneItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    pass

介绍了存储爬取数据的容器，那么怎么爬取数据呢。在这之前我们需要一些XPath的知识

XPath教程
举一些简单的小例子来看一下XPath的用法：

1. /html/head/title 选择目录HTML下head元素下的title元素
2. /html/head/title/text() 选择title元素的文本内容
3. //td 选择所有的td元素
4. //div[@class=”mine”] 选择所有属性class=”mine”的div元素

为了方便使用XPaths，Scrapy提供Selector 类，在Scrapy里面，Selectors 有四种基础的方法：

• xpath()：返回一系列的selectors，每一个select表示一个xpath参数表达式选择的节点
• css()：返回一系列的selectors，每一个select表示一个css参数表达式选择的节点
• extract()：返回一个unicode字符串，为选中的数据
• re()：返回一串一个unicode字符串，为使用正则表达式抓取出来的内容

通过一个实际的例子更深刻的了解一下吧！
使用下面这个网站来作为示例
http://www.dmoz.org/Computers/Programming/Languages/Python/Books/
使用shell爬取网页来观察XPath的功能
在命令行中输入：

scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python/Books/ 

在Shell载入后，你将获得response回应，存储在本地变量 response中。
所以如果你输入response.body，你将会看到response的body部分，也就是抓取到的页面内容：

类似的可以输入response.headers：

接下来观察一下网页：

我们来爬取Computers,Programming,Languages,Python这几个元素，在浏览器上右键审查元素来观察这段HTML代码。

根据这段代码写出

sel.xpath('//a[@class="breadcrumb"]/text()').extract()

其中sel是selector对象

xpath很灵活，可以用不同的写法得出相同结果。

接下来需要来写实际爬取数据的代码，我们可以通过实际例子来学习，敬请期待ing