Scrapy的配置与入门

Scrapy是一个用python编写的爬虫框架，具体的设置可以参考http://doc.scrapy.org/en/latest/intro/tutorial.html，这里肢体一些可能有疑问的地方，比如 虽然import了scrapy但用到一些组件的时候还是需要import，比如Request,一般情况下scrapy只爬取start_urls里的链接，如果学要从爬取的网页里提取链接然后继续爬，需要用到rule或者在parse里讲链接用Request包装后返回即可