常见爬取网页报错总结

最新推荐文章于 2022-06-15 22:20:07 发布
最新推荐文章于 2022-06-15 22:20:07 发布
阅读量1.8k 收藏 2
点赞数 1
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fanyao1983/article/details/89736250
版权

1.爬取网页报错提示状态码404，可是在浏览器里可以打开网页

这种情况是服务器同时返回200与404的状态码，抓包可以看到有404与200。浏览器访问时，有200不会影响访问，而爬虫程序获取该url的回执状态码404与200，遇到有404，则抛出了HTTP Error 404: Not Found

网上解答：抓包将状态码200的cookie值贴到代码的headers里，然后urlopen(req)过去就ok

我的方法：判断是404错误码的同时也判断页面含有关键词。

fanyao1983
关注
专栏目录
超详细的 Python 方法、函数总结
Amo Xiang的博客
05-17 3万+
目录阅读前必读（不看会错过一个亿）一、字符串操作1.1 capitalize() 方法——字符串首字母转换为大写1.2 casefold() 方法——所有大写字符转换为小写1.3 center() 方法——字符串居中填充1.4 count() 方法——统计字符串出现次数1.5 encode() 方法——编码字符串1.6 decode() 方法——解码字符串1.7 endswith() 方法——是否以指定子字符串结尾、startswith() 方法1.8 find() 方法——字符串首次出现的索引位置(rfi
爬虫：Ajax数据爬取
二十四桥明月夜
01-03 8873
目录 1、什么是Ajax 1.1 实例的引入 1.2 基本原理 2、Ajax分析方法 1、查看请求 2、过滤请求 3、Ajax结果提取 1、分析请求 2、分析响应 3、例子 我们在用 requests 抓取页面的时候，得到的结果可能和在浏览器中看到的不一样：在浏览器中可以看到正常显示的页面数据，但是使用 requests 得到的结果并没有， 这是因为 requests 获取的 都是原始的 HTML 文档，而浏览器中的页面则是经过 JavaScript 处理数据后生成的结果，这些数据的.
python爬虫常见报错_Python爬虫总结——常见的报错、问题及解决方案
weixin_39654245的博客
11-28 3022
在爬虫开发时，我们时常会遇到各种BUG各种问题，下面是我初步汇总的一些报错和解决方案。在以后的学习中，如果遇到其他问题，我也会在这里进行更新。各位如有什么补充，欢迎评论区留言~~~问题：IP被封，或者因访问频率太高被拦截？？？解决方案之一：使用代理IP即可。问题：正确使用XPath之后并没有输出？？？解决方案之一：XPath只能提取未注释的代码，改用正则表达式即可。问题：容易被反爬搞死？？？解决方...
python爬取大量数据报错_Python学习笔记7——爬取大规模数据
weixin_30953869的博客
12-24 714
我们在爬取数据时，往往是连续爬取上百个页面，本篇以爬取赶集网为例，爬取大规模的数据。步骤如下：爬取1级商品链接爬取2级详情信息爬取商品详情页多进程爬取数据一、爬取1级商品链接新建一个Python文件，名字命名为my_channel_extracing，用于抓取大类商品链接。以抓取赶集网http://bj.ganji.com/wu/上二手商品为例，右侧的各类商品便是我们需要抓取的大类商品。大类链接....
python3抓取数据时失败_Post页面爬取失败__编码问题
weixin_42349295的博客
01-14 114
SQL语句导致cpu占用如此高一般我们可以使用sql server自带的性能分析追踪工具sql profiler分析数据库设计所产生问题的来源,进行有针对性的处理.但我们也可以通过自己写SQL语句来有针对性的进行性能方面的查询.通 ...struts2一些概念介绍和标签的使用依赖注入 模块包含 struts.xml的模块包含格式 OGNL 对象导航语言 有个超大的好处就是根据对象访问属性 ....
java爬虫post 404_POST 后台404错误
weixin_29023445的博客
02-17 555
今天在开发一个用户信息更新模块的时候遇到了两个问题：1、在我提交form表单的时候我希望在提交表单之后页面不刷新，同时返回更新数据2、向后台POST表单信息的时候，后台显示POST url 404的错误解决第一个问题的使用使用jquery.form的插件进行异步提交$(function() {$("#user-update").submit(function(){$(this).ajaxSubmi...
关于在用爬虫时，获取的页面不全的一种可能性
热门推荐
weixin_52936505的博客
02-23 1万+
<!doctype html> <html lang="zh" data-hairline="true" data-theme="light"><head><meta charSet="utf-8"/><title data-react-helmet="true">知乎 - 有问题，就会有答案</title><meta name="viewport" content="width=device-width,initial-scale=1,maximum-scale=1"/><meta name="rende
python爬虫报错requests.exceptions.MissingSchema: Invalid URL
qq_39212193的博客
07-09 6923
把开头的 #encoding=gbk改为utf-8
Python爬虫 手把手教你利用爬虫爬取网页
xixi20200的博客
10-21 9180
本文主要分为两个部分：一部分是网络爬虫的概述，帮助大家详细了解网络爬虫；另一部分是HTTP请求的Python实现，帮助大家了解Python中实现HTTP请求的各种方式，以便具备编写HTTP网络程序的能力。 01 网络爬虫概述 接下来从网络爬虫的概念、用处与价值和结构等三个方面，让大家对网络爬虫有一个基本的了解。 1. 网络爬虫及其应用 随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战，网络爬虫应运而生。网络爬虫（又被称为网页蜘蛛、...
python爬取网页有乱码怎么解决_Python抓取网页乱码的解决方法分析
weixin_39890102的博客
11-24 1382
Python抓取网页乱码的原因及解决方法本篇文章给大家带来的内容是关于Python抓取网页乱码的原因及解决方法，有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。在用 python2 抓取网页的时候，经常会遇到抓下来的内容显示出来是乱码。发生这种情况的最大可能性就是编码问题： 运行环境的字符编码和网页的字符编码不一致。比如，在 windows 的控制台（gbk）里抓取了一个 utf-8...
使用puppeteer爬取网站并抓出404无效链接
01-20
检查网页无效链接 前言 自动化技术可以帮助我们做自动化测试，同样也可以帮助我们完成别的事情，比如今天我们要做的检查网站404无效链接。 原理 实现这样的功能，大致分为以下步骤： 1.打开官网首页，获取页面上所有的链接。 2.添加规则对这些链接过滤，把外链去掉。 3.遍历访问这些链接，打开打开其中的每一个链接，检查是否为404，如果是距离下来。 4.重复执行1，2，3。直到把整个网站所有的链接都遍历完。 准备 CukeTest 一款可以专业的编辑自动化脚本的工具。cuketest.com/ puppeteer 一个非常流行自动化库。https://github.com/GoogleChro
python爬取网页时，编码出错问题
小王的博客
04-06 1194
UnicodeEncodeError: 'gbk' codec can't encode character '\xb9' in position 61513: illegal multibyte sequence
爬取网页常见的问题
wangscaler的博客
03-17 943
爬取拉勾网常见问题一、ip被封禁破解IP被封禁的办法二、网站里有验证码三、验证登录四、动态页面先写到这里，庆祝自己的第一个爬虫成功入库，等我慢慢更新 一、ip被封禁 你好！当你兴奋冲冲的开始尝试第一个爬虫的时候，结果却是空，什么也没爬出来，然后你看到responds后面有个forbideen。哈哈，你的爬虫被人家网站识别出来了。不要丧气，与他战斗到底。 破解IP被封禁的办法 我们被封禁了不要紧，正...
爬虫爬取数据时，网页响应码返回404问题的解决方法
hacker_NO_007的博客
04-27 8658
爬虫报404问题： 在进行爬虫爬取数据的过程中，使用语句： r = requests.get(url, timeout=60, headers=headers, stream=True) # print(r.status_code) open(r'D:\us\{}\{}\{}\img\{}.jpg'.format(year, mouth_day, id, l), 'wb').write(r.content) # 将内容写入图片 获取网页数据，爬取数据，打印网页响应码，返回404问题 解决方案： 经
爬取网页时，报错出现404或者418问题
m0_63097763的博客
06-15 3721
出现该错误其实就是，该网页发现这是一个爬虫程序被识别出来，阻止爬取数据。解决方法：1）：添加headers代码段。 如果仍然出现错误，可能是访问次数太多而被网页识别，需要在网页中找到 Cookie 属性并添加到 headers中 添加之后应该就可以正常运行了。...
python3 爬取网页的异常处理
勿忘初心
11-10 5786
有时候python爬取的网页会出现异常，我们需要添加异常处理 我们主要说明一下URLError和HTTPError 参考博客：点击打开链接 URLError 首先解释下URLError可能产生的原因： 网络无连接，即本机无法上网 连接不到特定的服务器 服务器不存在 HTTPError是URLError的子类，在你利用urlopen方法发出一个请求时，服务器上都会对应
Python之web服务器-返回404页面数据(四)
Python交流会友
09-16 4111
Python之web服务器-返回404页面数据(四) # 导入模块 import socket import re if __name__ = '__main__': # 1.创建tcp服务端套接字 tcp_server_socket = socket.socket(socket.AF_INET , socket.SOKE_STREAM) # .设置端口号复用 ...
根据浏览器404提醒进行错误判断
qq_35652978的博客
04-02 799
1、下图为handler（action）找不到，应该检查地址栏输入的URL是否存在 2、下图为找到了handler（action），但是对应的页面找不到，应该检查handler配置的页面是否正确
用Python抓取全站中的404错误
weixin_33736832的博客
08-06 1146
2019独角兽企业重金招聘Python工程师标准>>> ...
python爬取数据报错，values小于index怎么解决报错问题
最新发布
09-21
在Python中，如果你遇到“values less than index”错误，这通常发生在尝试访问列表、数组或其他序列类型的元素时，当你提供的索引超出序列的实际长度。例如，如果你尝试访问一个长度为5的列表，但是用了索引6，就会引发这个错误。 解决这个问题有几种常见的方法： 1. **检查索引**：确保你的索引值是在有效范围内，即0到序列长度减一。例如，如果列表长度是n，那么有效的索引应该是0, 1, ..., n-1。 ```python my_list = [1, 2, 3, 4, 5] print(my_list[4]) # 这里不会出错，因为索引4在列表的有效范围内 ``` 2. **使用len()函数**：在获取索引前先计算序列的长度，防止意外错误。 ```python length = len(my_list) index = 4 if index < length: print(my_list[index]) else: print("Index out of range") ``` 3. **异常处理**：你可以使用`try-except`块来捕获并处理这种错误。 ```python try: value = my_list[index] except IndexError: print("Index is out of bounds") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值