![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
灵左
这个作者很懒,什么都没留下…
展开
-
scrapy学习小记
安装wheel 安装lxml 安装PyOpenssl 安装Twisted :异步框架 安装Pywin32 安装Scrapy 通过 scrapy startproject projectname 创建一个scrapy工程 进入该文件夹: scrapy genspider baidu www.baidu.com 生成爬虫 scrapy crawl baidu 运行 scrapy shell quo...原创 2019-07-17 00:04:51 · 148 阅读 · 0 评论 -
爬虫踩坑小记
在用pyspider爬虫运行代码后出现: HTTP 599: SSL certificate problem: unable to get local issuer certificate错误 错误原因: 这是因为在请求https开头的网址时,SSL验证错误,证书有问题 解决方法: 在self.crawl(url,callback=self.index_page,validate_cert=Fa...原创 2019-07-17 00:07:36 · 207 阅读 · 0 评论