scrapy学习笔记——第一个项目,eclipse+pydev搭建scarpy项目

国内的大多数教程都是把官网文档抄来改去的，如果我也重复同样的就没什么意思了。

所以本文将探索eclipse+pydev搭建scarpy项目，以及debug项目。

因为本人一直使用eclipse平台作为Java、Android、python的集成开发环境，所以跟多时候使用这个平台比使用多个平台切换要方便，这也是探讨这个问题的初衷。

本人并不排斥其他平台，比方说Android开发也同时在使用Android Studio，python也使用sublime text3进行开发。

这些东西都只是工具，觉得那么好用就用那个，过于执着于某一个就着相了。

那么下面就正式开始今天的学习。

一、创建项目

如果安装了最新的pydev，创建一个新项目会有三个选项，这里直接选择一个普通的python项目即可，此时查看项目目录，目录项只有两个工程文件。

此时，需要使用scrapy命令创建一个scrapy项目到这个目录下，当然也可以把一个现有的工程拷贝到这里。

我这里使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。

此时如果运行这个项目会报错如图：

二、配置Debug Configurations

1、进入run——>Debug Configurations-——>Main

name中输入这个配置的名称；

Projecct选择你的Scrapy项目

Main Module 中填入scrapy库下的cmdline.py文件

2、进入run——>Debug Configurations-——>Arguments

在Program arguments中输入 crawl example，需要注意这个example是你的爬虫冲名称

这个名字并不是你的项目名称，而是在你所写的类似于class xxxSpider()类中的name的值。

在Working directory中选择other 选择你的爬虫工作目录

如图：

配置完成，点击Debug按钮，如果能正常显示类似于下面的信息则说明配置成功。

2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished)
2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats:

唯一麻烦一点的就是每次debug都需要通过run进行，而不能使用鼠标右键运行。

至此eclipse + pydev开发环境debug Scrapy就全部完成了。

附：我的工程目录结构