scrapy爬虫错误一：无法爬到期望的数据

最近在开始学习scrapy爬虫，遇到了一处很坑的地方，在屏幕上输出的debug信息总是没有任何结果就直接提示：

 [scrapy.statscollectors] INFO: Dumping Scrapy stats

...............

.............

[scrapy.core.engine] INFO: Spider closed (finished)，然后程序就结束了

网上查了许久，才发现自己的错误：在parse()函数中的yield scrapy.Request()函数中参数传错了，错误的代码如下：

正确的代码如下：

还有可能是没有添加浏览器代理导致的，在setting.py文件添加下面的代码：

USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) \
            AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5'

USER_AGENT的值可以更换