高级牛客项目使用pyspider遇到的问题

(一)使用pyspider,在cmd命令行中输入pysider all 遇到的错误:ValueError: Invalid configuration:   - Deprecated option 'domaincontroller': use 'http_authenticator,百度了一下发现解决方案

(二)然后就是HTTP 599: SSL certificate problem: unable to get local issuer certificate错误

解决方法:百度一个方法说的是使用 self.crawl(url, callback=self.index_page, validate_cert=False),我试了,同样报错,所以还是根据这个方法下载了curl,换了pyspider文件夹,不要忘记(一)中出现的问题,注意!!!这里就算有了证书还是要写self.crawl(url, callback=self.index_page, validate_cert=False)

(三)pyspider在run之后没有反应,就是显示不出来我们得到的href,原因很简单,因为,牛客视频里面给的v2ex网址不对,请改成https://www.v2ex.com/!!!!,所以说,代码一模一样也拯救不了你,这个犯错心很累。。。。。。

(四)在接其他的url的时候你会发现继续报错

嗯,这就是需要你在每个self.crawl里面加上validate_cert=False

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值