爬虫
import bugs
积跬步,至千里!
展开
-
关于Error 400. The request has an invalid header name的解决方法
今天遇到这个问题,然后百度,必应,google,都找遍了,看到很多写这个问题的博客,说实在的,真的没有一点帮助,于是自己花了2个小时自己找原因。原因很简单,造成这个报错的原因是header部分出错。相信大家写头部的时候都是在浏览器上复制过来的,有些浏览器的格式不同的,导致你粘贴到代码的时候,头部信息可能会有多余的空格,别小看这些空格,这些空格就是导致这个报错的直接原因我这段代码,添加头部信息的...原创 2018-06-05 17:51:07 · 14390 阅读 · 5 评论 -
python 关于 ValueError: dictionary update sequence element #0 has length 1; 2 is required的原因和解决办法
相信大家接触python字典后,会遇到这样的报错,其实我们都知道无非就是字符串和字典之间的转换,笔者刚开始的时候也遇到这个问题了,天真的以为字典和字符串之间的转换用str()和dict()转换,不罗索,直接上图!但是笔者爬取数据的时候,因为self.read_188bet_cookie()方法返回给我一个字符串,但是requests里的cookies=(必须是一个字典),所以笔者就天真的用dict...原创 2018-06-13 18:12:45 · 95942 阅读 · 20 评论 -
关于python 爬虫遇到Request Payload怎麽提交数据的方法
平时在写爬虫的时候,我们提交的表单一般都是from data,这个就很好提交了,在这里笔者就不写了,下面我们说说当遇到Request Payload时,怎麽提交表单吧. 先上图,这个是笔者写爬虫时遇到request payload时,还是想from data那样来爬取数据,结果返回的是{"Message":"An error has occurred."},很郁闷,上百度找了一下资料,...原创 2018-07-24 17:41:02 · 5935 阅读 · 0 评论 -
python selenium下,firefox和chrome添加cookie的区别。
说到添加cookie绕过登陆这部分,我个人就很喜欢用firefox,为什么呢,因为firefox添加cookie真的很方便。添加的时候三行代码就好了。self.driver.get(url)self.driver.add_cookie({'name': 'Cookie', 'value': 'UM_distinctid=169897e2570233-0755822f71bc2f-5e1...原创 2019-04-08 17:30:03 · 2077 阅读 · 0 评论