- 博客(1)
- 收藏
- 关注
原创 Scrapy + Jupyter Notebook?
先上结论:除非每次运行爬虫前都重启一次kernel,否则爬虫部分代码只能运行一次,第二次就会报错,无解。原因:scrapy的网络部件基于twisted构建,整个爬虫都在twisted reactor的事件循环中执行,且每个线程只能有一个reactor实例。一旦爬虫执行完毕,reactor也就没有了其他作用,很自然的在代码中,我们会指定回调函数reactor.stop()from spider...
2019-08-07 14:25:04
3661
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人