Scrapy
文章平均质量分 59
路人甲wttttt
这个作者很懒,什么都没留下…
展开
-
Scrapy源码分析(一):框架入口点和配置文件加载
本系列文章涉及到的Scrapy为1.2.1版本,运行环境为py2.7。首先我们查看一下setup.py:entry_points={ 'console_scripts': ['scrapy = scrapy.cmdline:execute'] },可以看到,框架唯一的入口点是命令行的scrapy命令,对应scrapy.cmdline下的execute方法。下面查原创 2016-11-27 11:48:41 · 7277 阅读 · 3 评论 -
Scrapy源码分析(二):Setting相关类定义
Scrapy中的BaseSetting的行为是一个包含优先级的字典,当请求存在的key时,value中优先级最大的一个会被返回。首先看几个辅助的元素,优先级字典:SETTINGS_PRIORITIES = { 'default': 0, 'command': 10, 'project': 20, 'spider': 30, 'cmdline': 40原创 2016-11-27 16:21:38 · 2095 阅读 · 0 评论 -
Scrapy源码分析(四):请求Request
本次我们要分析的Scrapy源码为Request模块,模块的位置:from scrapytest.http import Request首先把Request的源码附上:class Request(object_ref): def __init__(self, url, callback=None, method='GET', headers=None, body=None,原创 2016-12-17 23:27:07 · 6802 阅读 · 0 评论