scrapy框架start_urls以及sart_requests分析

start_urls

url列表。当 没有指定特定的url时，spider将从该列表中开始抓取。因此，第一个被获取到的页面的url僵尸该列表之一。后续的url将会从获取的数据中提取。

start_requests

该方法必须返回一个可迭代对象（iterable）。该对象包含了spider用于抓取的第一个Request。

当spider起订抓取并且未指定url时，该方法被调用。当指定了url时，make_requests_from_url()将被调用来创建request对象。该方法仅仅会被scrapy调用一次，因此您可以将其实现为生成器。

该方法的默认实现是使用start_urls的url生成request。

如果您想要修改最初抓取某个网站的request对象，您可以重写（override）该方法。例如，如果您需要在启动时以POST登录某个网站，你可以这么写：

def start_requests(self): 
return [scrapy.FormRequest
("http://www.example.com/login", formdata={'user': 'john', 'pass': 'secret'}, 
callback=self.logged_in)]

def logged_in(self, response): 
# here you would extract links to follow and return Requests for 
# each of them, with another callback
pass

make_requests_from_url(url):
该方法接受一个url并返回用于抓取的request对象。该方法在初始化request时被start_requests()调用，也被用于转化url为request。

默认未被重写的情况下，该方法的request对象中，parse（）作为返回函数，dont_filter参数 也被设置为开启。