Scrapy
shitousenlin
这个作者很懒,什么都没留下…
展开
-
Scrapy工作原理(流程)
官方教程说当你写好自己的spiders如douban之后,你可以通过scrapy runspider/crawl douban启动你的爬虫。于是一开始的时候你就知道通过这个命令行来启动爬虫,但是你有没有想过当你敲下这行命令后,scrapy到底做了什么呢? 命令入口:cmdline.py 当你运行 scrapy command arg 这样的命令时,这里的 scrapy 实质是一个 python转载 2017-06-14 10:26:55 · 1010 阅读 · 0 评论 -
Scrapy之settings设置篇
定义Settings Settings提供了key-value映射的全局命名空间,代码中可以获取配置的值。settings.py是scrapy项目的标准配置文件,也可通过命令行选项,spider类中等方式定义。 ROBOTSTXT_OBEY = False1 是否遵循robots.txt协议 COOKIES_ENABLED = False1 防止了网站使用cookies识别爬虫 ITE转载 2017-06-15 11:07:34 · 393 阅读 · 0 评论