python
iter_lzy
这个作者很懒,什么都没留下…
展开
-
scrapy配置爬虫关闭的条件(二)
Scrapy 没有按照配置 CLOSESPIDER_ITEMCOUNT, CLOSESPIDER_TIMEOUT 来终止爬虫的问题在settings中配置了关闭爬虫的相关扩展:CLOSESPIDER_TIMEOUTCLOSESPIDER_ITEMCOUNTCLOSESPIDER_PAGECOUNTCLOSESPIDER_ERRORCOUNT或者是在命令行运行spider...转载 2020-02-08 13:57:23 · 947 阅读 · 0 评论 -
scrapy配置爬虫关闭的条件(一)
scrapy配置爬虫关闭的条件在scrapy的默认配置文件中看到这四个配置:CLOSESPIDER_TIMEOUT = 0CLOSESPIDER_PAGECOUNT = 0CLOSESPIDER_ITEMCOUNT = 0CLOSESPIDER_ERRORCOUNT = 0这四个配置是配置爬虫自动关闭条件的,等于0代表不开启。CLOSESPIDER_TIMEOUT默认值:0...转载 2020-02-08 13:55:34 · 846 阅读 · 1 评论 -
Scrapy爬虫cookies设置的坑
scrapy的settings文件的COOKIES_ENABLED:当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉,使用自定义coo...原创 2020-02-06 21:03:56 · 565 阅读 · 1 评论 -
scrapy使用yield返回Request的步骤(应该是最清楚的)
scrapy使用yield返回Request的步骤是怎么样的Python的yield是一个比较特别的关键字。 1 2 3 4 5 6 >>>deftest_yield(): ...foriinrange(3): ...yieldi ......原创 2020-02-06 11:27:43 · 7299 阅读 · 3 评论 -
python中的yield通俗理解
python中的yield通俗理解I、理解yield,第一步需要理解yield和return的区别print('yield:')def _testyield(): for i in range(5): yield i*i#这里产生生成器对象,跟java对象意思相同generator = _testyield()for i in range(5): ...转载 2020-02-06 09:09:40 · 159 阅读 · 0 评论 -
callback回调函数--python
callback回调函数--python编程分为两类:系统编程(system programming)和应用编程(application programming)。所谓系统编程,简单来说,就是编写库;而应用编程就是利用写好的各种库来编写具某种功用的程序,也就是应用。系统程序员会给自己写的库留下一些接口,即API(application programming interface,应用编程接口)...转载 2020-02-05 10:49:08 · 212 阅读 · 0 评论 -
Python Requests:proxy代理错误
Python Requests:proxy代理错误源码:<span style="color:#333333"><span style="color:black"><code class="language-python"><span style="color:#0077aa">import</span> req...原创 2020-01-29 14:10:00 · 4391 阅读 · 0 评论