爬虫问题
妙齐光
Everything will be ok!
展开
-
解决在python 爬虫时爬取的网页中文乱码问题!
我们平常在爬虫过程中经常会遇到爬取的网页内容乱码的问题,我们知道肯定是编码的问题。一般情况下,网页编码都是UTF-8形式,但是有时候有一些例外,有可能会是GBK的编码方式。解决中文乱码问题:一. 查看网页编码按F12,进入开发者模式,在最上面找到Console,输入document.charset,如图:二. 在代码中设置编码方式为步骤一中的方式,例如:res = requests.get(url)res.encoding = 'gbk'html = res.text...原创 2021-09-26 16:31:32 · 3536 阅读 · 1 评论 -
解决HTTPSConnectionPool(host=‘‘, port=443): Max retries exceeded with url: /api/container/ge
如果遇到这样的提示,只需要在请求语句里面添加verify = Flase,例如:result = requests.get(api,verify=False).text.encode(‘utf-8’)原创 2021-08-23 17:40:37 · 47322 阅读 · 8 评论 -
使用pyspider框架出现Exception: HTTP 599: SSL certificate problem: unable to get local issuer certificate
解决方法:在self.crawl()属性中加入validate=False注意:需要加入的是两个地方原创 2021-08-18 10:25:29 · 186 阅读 · 0 评论