C2. 爬虫报错
报错
sevieryang
DM/DW/Statistics/Quant
展开
-
DevpTips_解决post请求中的Request-Payload
转自:https://blog.csdn.net/Albert_1000/article/details/98874544?utm_source=app原创 2020-10-15 19:31:07 · 254 阅读 · 0 评论 -
DevpTips_raise JSONDecodeError(“Expecting value“, s, err.value) from None
raise JSONDecodeError(“Expecting value”, s, err.value) from None获取url成功,但json解析不成功错因:当前解析的网站与目标网站不一致,导致无法正确解析网站内数据。错误修改:重新查找正确的目标网址,更换url...原创 2020-10-15 19:25:51 · 1081 阅读 · 0 评论 -
DevpTips_[Err] 1136 - Column count doesn‘t match value count at row 1
[Err] 1136 - Column count doesn’t match value count at row 11136 - Column count doesn’t match value count at row 1错误原因在存储过程里,创建临时表,插入数据时插入的字段个数跟临时表里的字段个数不一致,导致出错解决办法添加查询语句字段,并且要和临时表里字段个数一致...原创 2020-10-15 19:24:27 · 149 阅读 · 0 评论 -
【报错】AttributeError: ‘set‘ object has no attribute ‘items
问题:改headers:成功:原创 2020-12-16 10:10:01 · 564 阅读 · 0 评论 -
【报错】10053, ‘你的主机中的软件中止了一个已建立的连接
解决方法和网上的说法并不一致,原因是我的jupyternotebook正在执行这个代码,同时pycharm也在执行的时候会报错。需要去jupyter notebook点running然后Shutup原创 2020-12-16 09:21:07 · 7048 阅读 · 0 评论 -
【报错】File was loaded in the wrong encoding: UTF-8 【在pycharm】
中文是乱码的,无论是注释中还是代码中,都是乱码的。原因:我们文件使用UTF-8进行编辑,而Windows默认使用GBK编码格式,所以导致打开文件时出现乱码。解决办法2在编辑文本时,设置指定的编码格式。encoding=“utf-8”...原创 2020-06-21 12:06:21 · 2218 阅读 · 0 评论 -
【报错】todo
自己的网络中途中断了。原创 2020-06-18 17:15:54 · 1557 阅读 · 0 评论 -
【报错】OpenSSL.SSL.SysCallError: (10054, WSAECONNRESET)
Python 报 OpenSSL.SSL.SysCallError: (10054, ‘WSAECONNRESET’)出现这个问题是可以选择关闭ssl认证作者:outliers链接:https://www.zhihu.com/question/40025043/answer/491534011来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。在调用request.get(“https://weekly.manong.io/issues/231”)时候遇到证书问题:re原创 2020-06-16 19:36:27 · 3128 阅读 · 0 评论 -
【报错】chrome,qq浏览器:failed to load response data 【chrome升级83或火狐可以解决】
js ajax请求成功,response显示 “failed to load response data”原因服务端返回的数据量过大,导致数据无法展示open in new tab如果该请求时Get请求,那没问题;如果该请求时Post请求,且有form data,那么,在chrome中 open in new tab 只是打开了请求的url,不会带上form data信息;那如何 open in new tab的时候,带上formdata信息呢?解决方案就是:使用firefox火狐浏览器解决方原创 2020-06-14 12:51:41 · 5147 阅读 · 0 评论 -
【报错】【修订】SSL routines certificate verify failed, InsecureRequestWarning 的相关verify
SSL routines’, ‘tls_process_server_certificate’, 'certificate verify failedInsecureRequestWarning: Unverified HTTPS request is being made. Adding certi解决方式verify=False【大概意思是 禁止ssl证书认证】在语句前加上以下代码即可不会被报错:...原创 2020-06-14 12:35:23 · 754 阅读 · 0 评论 -
【报错】ConnectionResetError(10054, 远程主机强迫关闭了一个现有的连接。
服务器把这个当成了DDOS攻击。解决方法:在调用request的循环内,加入方法time.sleep(0.5)原创 2020-06-12 15:07:17 · 14832 阅读 · 0 评论 -
【报错】OperationalError 2006, MySQL server has gone away
python 操作数据库 OperationalError: (2006, ‘MySQL server has gone away’) 解决方法原因主要是python与数据库的连接失败了,失败原因有多种,可能是提前关闭了连接,也有可能是由于超时连接而失败。最简单的方法就是多连几次数据库。...原创 2020-06-12 15:04:56 · 575 阅读 · 0 评论 -
【报错】raise JSONDecodeError
【python】解决raise JSONDecodeError(“Expecting value”, s, err.value) from None json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)错误原因是:token需要更新原创 2020-06-08 15:14:08 · 1926 阅读 · 1 评论 -
状态码204
204 No Content没有新文档。浏览器应该继续显示原来的文档。如果用户定期地刷新页面,而Servlet可以确定用户文档足够新,这个状态代码是很有用的。关于http状态码204理解HTTP的状态码有很多种,主要有1xx(临时响应)、2xx(成功)、3xx(已重定向)、4xx(请求错误)以及5xx(服务器错误)五个大类,每个大类还对应一些具体的分类。平时我们接触比较多的是200、400、500等。这里我们主要讨论一下状态码204,在HTTP RFC 2616中关于204的描述如下:If the原创 2020-12-17 08:56:55 · 1268 阅读 · 1 评论 -
【遇到问题】您的连接不是私密连接
我搭建了服务器,想试试看,没想到很多网站访问受限换个浏览器又能进入了,推测是HTTPS的问题搜了好久,发现解决办法有:1给自己的服务器装SSL或者:2给自己chrome设置可访问 此类网页,忽略问题打开chrome://flags找到“Show in-form warnings for sensitive fields when the top-level page is not HTTPS”设置为 disabled找到 “Allow invalid certificates for res原创 2020-10-27 17:06:38 · 1585 阅读 · 0 评论 -
response 403的问题
403 服务器拒绝请求。可以理解为没有权限访问此网站,服务器能够收到请求但拒绝提供服务说明人家不欢迎爬虫就是被反爬咯反爬的手段有很多,UA只是最最基础的判断是否为爬虫的方法属于只防君子(搜索引擎)的验证方式目测除了UA还验证了cookie,你可以试试,header 里面的全部项目一条一条的添加进去直到成功。如果还不成功,说明除了header还有其他方式对你进行了验证。另外你要看看你获取的数据是不是使用的post方法请求的另外的接口...原创 2020-10-17 10:54:49 · 2577 阅读 · 0 评论 -
【报错】400 bad request,401
解释:400 Bad Request 是由于明显的客户端错误(例如,格式错误的请求语法,太大的大小,无效的请求消息或欺骗性路由请求),服务器不能或不会处理该请求。在 ajax 请求后台数据时比较常见。产生 HTTP 400 错误的原因有:1、前端提交数据的字段名称或者是字段类型和后台的实体类不一致,导致无法封装;如需要 int,客户端传的是 String2、前端提交的到后台的数据应该是 json 字符串类型,而前端没有将对象转化为字符串类型;解决方法:1、对照字段名称,类型保证一致性2、使用.原创 2020-06-11 16:00:12 · 635 阅读 · 0 评论 -
【报错】1205,Lock wait timeout exceeded,try restarting transaction
【报错】err.InternalError: (1205, ‘Lock wait timeout exceeded; try restarting transaction’)断网之后,发现pymysql.err.InternalError: (1205, ‘Lock wait timeout exceeded; try restarting transaction’)产生了不必要的锁而锁住其他的操作transaction 处理参考做法:https://blog.csdn.net/weixin_30原创 2020-06-09 13:42:18 · 540 阅读 · 0 评论 -
【报错】解决:socket.error: [Errno 10060]
原因:是爬取页面过快造成暂时被网站ban掉的情况,设置time.sleep(),如果ban的时间不定,就自己动手写了个暴力的做法参考别的大神:def avoid_10060(fun):error_time = 0while True:time.sleep(1)try:return fun()except:error_time += 1if error_time == 100:print ‘your network is little bad’time.sleep(60)if e原创 2020-06-09 13:38:54 · 1629 阅读 · 0 评论 -
【报错】HTTP Error 503. The service is unavailable
HTTP Error 503. The service is unavailable————————————————原因:短时间内产生多次工作进程崩溃,会因IIS7的快速故障防护功能而关闭程序池;方法:重启网站应用程序池原创 2020-06-09 00:50:31 · 1706 阅读 · 0 评论 -
【报错】SSLError
爬虫访问HTTPS站点报错SSLError运行代码的时候不能开着代理原创 2020-06-08 15:17:30 · 123 阅读 · 0 评论 -
【报错】TimeoutError: win erro 1006
TimeoutError: win erro 1006 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败https://www.cnblogs.com/yoyoketang/p/12961469.html原创 2020-06-08 14:14:03 · 554 阅读 · 0 评论 -
【报错】OperationalError 1045 Access denied for user & 1044
问题pymysql.OperationalError(1045, "Access denied for user原创 2020-06-05 07:54:52 · 495 阅读 · 0 评论