![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Pyspider探索系
candy-girl
fighting candy
展开
-
PySpider基本架构一般了解
从on_start开始调用, 回调至index_page,(.doc)是一个pyquery请求解析函数 .items()是一个pyquery的API self.crawl会生成一个request Pyspider基本架构: 1.scheduler :调度器, 调度程序从处理器的newtask_queue接收任务。确定任务是新任务还是需要重新爬网。 2.fetcher:请求器,发送请求;与 ph...原创 2019-03-22 16:36:03 · 427 阅读 · 0 评论 -
Pyspider报错HTTP599:SSL certificate problem:unable to get local issuer certificate和not resolve host
1.在pyspider框架运行的时候出现 HTTP 599: SSL certificate problem: unable to get local issuer certificate错误 (1)如图: (2)原因: 这个错误会发生在请求 https 开头的网址,SSL 验证错误,证书有误。 (3)解决办法: 使用 self.crawl(url, callback=self.index_pa...原创 2019-03-22 16:47:27 · 1628 阅读 · 0 评论