常见爬取网页报错总结

最新推荐文章于 2022-04-06 22:38:33 发布
最新推荐文章于 2022-04-06 22:38:33 发布
阅读量1.8k 收藏 2
点赞数 1
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fanyao1983/article/details/89736250
版权

1.爬取网页报错提示状态码404，可是在浏览器里可以打开网页

这种情况是服务器同时返回200与404的状态码，抓包可以看到有404与200。浏览器访问时，有200不会影响访问，而爬虫程序获取该url的回执状态码404与200，遇到有404，则抛出了HTTP Error 404: Not Found

网上解答：抓包将状态码200的cookie值贴到代码的headers里，然后urlopen(req)过去就ok

我的方法：判断是404错误码的同时也判断页面含有关键词。

fanyao1983
关注
专栏目录
超详细的 Python 方法、函数总结
Amo Xiang的博客
05-17 3万+
目录阅读前必读（不看会错过一个亿）一、字符串操作1.1 capitalize() 方法——字符串首字母转换为大写1.2 casefold() 方法——所有大写字符转换为小写1.3 center() 方法——字符串居中填充1.4 count() 方法——统计字符串出现次数1.5 encode() 方法——编码字符串1.6 decode() 方法——解码字符串1.7 endswith() 方法——是否以指定子字符串结尾、startswith() 方法1.8 find() 方法——字符串首次出现的索引位置(rfi
爬虫：Ajax数据爬取
二十四桥明月夜
01-03 8870
目录 1、什么是Ajax 1.1 实例的引入 1.2 基本原理 2、Ajax分析方法 1、查看请求 2、过滤请求 3、Ajax结果提取 1、分析请求 2、分析响应 3、例子 我们在用 requests 抓取页面的时候，得到的结果可能和在浏览器中看到的不一样：在浏览器中可以看到正常显示的页面数据，但是使用 requests 得到的结果并没有， 这是因为 requests 获取的 都是原始的 HTML 文档，而浏览器中的页面则是经过 JavaScript 处理数据后生成的结果，这些数据的.
python爬虫常见报错_Python爬虫总结——常见的报错、问题及解决方案
weixin_39654245的博客
11-28 3022
在爬虫开发时，我们时常会遇到各种BUG各种问题，下面是我初步汇总的一些报错和解决方案。在以后的学习中，如果遇到其他问题，我也会在这里进行更新。各位如有什么补充，欢迎评论区留言~~~问题：IP被封，或者因访问频率太高被拦截？？？解决方案之一：使用代理IP即可。问题：正确使用XPath之后并没有输出？？？解决方案之一：XPath只能提取未注释的代码，改用正则表达式即可。问题：容易被反爬搞死？？？解决方...
python爬取大量数据报错_Python学习笔记7——爬取大规模数据
weixin_30953869的博客
12-24 714
我们在爬取数据时，往往是连续爬取上百个页面，本篇以爬取赶集网为例，爬取大规模的数据。步骤如下：爬取1级商品链接爬取2级详情信息爬取商品详情页多进程爬取数据一、爬取1级商品链接新建一个Python文件，名字命名为my_channel_extracing，用于抓取大类商品链接。以抓取赶集网http://bj.ganji.com/wu/上二手商品为例，右侧的各类商品便是我们需要抓取的大类商品。大类链接....
python3抓取数据时失败_Post页面爬取失败__编码问题
weixin_42349295的博客
01-14 114
SQL语句导致cpu占用如此高一般我们可以使用sql server自带的性能分析追踪工具sql profiler分析数据库设计所产生问题的来源,进行有针对性的处理.但我们也可以通过自己写SQL语句来有针对性的进行性能方面的查询.通 ...struts2一些概念介绍和标签的使用依赖注入 模块包含 struts.xml的模块包含格式 OGNL 对象导航语言 有个超大的好处就是根据对象访问属性 ....
python爬虫报错requests.exceptions.MissingSchema: Invalid URL
qq_39212193的博客
07-09 6922
把开头的 #encoding=gbk改为utf-8
python报错：urllib.error.HTTPError: HTTP Error 404: Not Found 怎么解决请教大神
qq_43396677的博客
12-18 2万+
代码如下： import sys import random from urllib.request import urlopen WORD_URL = "http://learncodethehardway.org/word.txt" WORDS = [] PHRASES = { "class %%%(%%%):": "Make a class named %%% tha...
爬取网页常见的问题
wangscaler的博客
03-17 943
爬取拉勾网常见问题一、ip被封禁破解IP被封禁的办法二、网站里有验证码三、验证登录四、动态页面先写到这里，庆祝自己的第一个爬虫成功入库，等我慢慢更新 一、ip被封禁 你好！当你兴奋冲冲的开始尝试第一个爬虫的时候，结果却是空，什么也没爬出来，然后你看到responds后面有个forbideen。哈哈，你的爬虫被人家网站识别出来了。不要丧气，与他战斗到底。 破解IP被封禁的办法 我们被封禁了不要紧，正...
Python爬虫 手把手教你利用爬虫爬取网页
xixi20200的博客
10-21 9180
本文主要分为两个部分：一部分是网络爬虫的概述，帮助大家详细了解网络爬虫；另一部分是HTTP请求的Python实现，帮助大家了解Python中实现HTTP请求的各种方式，以便具备编写HTTP网络程序的能力。 01 网络爬虫概述 接下来从网络爬虫的概念、用处与价值和结构等三个方面，让大家对网络爬虫有一个基本的了解。 1. 网络爬虫及其应用 随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战，网络爬虫应运而生。网络爬虫（又被称为网页蜘蛛、...
python爬取网页有乱码怎么解决_Python抓取网页乱码的解决方法分析
weixin_39890102的博客
11-24 1382
Python抓取网页乱码的原因及解决方法本篇文章给大家带来的内容是关于Python抓取网页乱码的原因及解决方法，有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。在用 python2 抓取网页的时候，经常会遇到抓下来的内容显示出来是乱码。发生这种情况的最大可能性就是编码问题： 运行环境的字符编码和网页的字符编码不一致。比如，在 windows 的控制台（gbk）里抓取了一个 utf-8...
python爬取网页时，编码出错问题
小王的博客
04-06 1194
UnicodeEncodeError: 'gbk' codec can't encode character '\xb9' in position 61513: illegal multibyte sequence
Python爬取网页数据
热门推荐
你缺少想象力的博客
08-29 16万+
都说python爬网页数据方便，我们今天就来试试，python爬取数据到底有多方便 简介 爬取数据，基本都是通过网页的URL得到这个网页的源代码，根据源代码筛选出需要的信息 准备 IDE：pyCharm 库：requests、lxml 大概介绍一下，这俩库主要为我们做什么服务的 requests：获取网页源代码 lxml：得到网页源代码中的指定数据 言简意赅有没有 ^_^...
pycharm自动调整html页面代码缩进不正确的解决办法
aochangliang0045的博客
11-15 1022
pycharm自动调整html页面代码缩进不正确的解决办法 转载于:https://www.cnblogs.com/Noul/p/9961651.html
python爬网页数据-python之爬取网页数据总结（一）
weixin_39537298的博客
11-11 370
今天尝试使用python，爬取网页数据。因为python是新安装好的，所以要正常运行爬取数据的代码需要提前安装插件。分别为requests Beautifulsoup4 lxml 三个插件。因为配置了环境变量，可以cmd命令直接安装。假如电脑上有两个版本的python，建议进入到目录安装。安装的命令为 pip install requests（Beautifulsoup4 /lxm...
Python-爬取HTML网页数据
Cheny的博客
12-15 8万+
Python-爬取HTML网页数据软件环境 Mac 10.13.1 (17B1003) Python 2.7.10 VSCode 1.18.1 摘要本文是练手Demo，主要是使用 Beautiful Soup 来爬取网页数据。Beautiful Soup 介绍 Beautiful Soup提供一些简单的、python式的用来处理导航、搜索、修改分析树等功能。 Beautiful Soup 官方
404错误页面返回200状态码问题解决
weixin_30375427的博客
05-27 439
404页面的目的是：告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页面而不是关闭窗口离开。 很多开源系统包括CMS系统、Blog系统等不提供404页面或提供的404页面并未达到SEO的要求，这让网站的权威性大打折扣。 404页面该达到怎么样的效果才符合SEO要求？ 搜索引擎通过HTTP状态码来识别网页的状态。当搜索引擎获得了一个错误链接时，网站应该返回404状态码，告诉搜...
python爬取数据报错，values小于index怎么解决报错问题
最新发布
09-21
解决这个问题有几种常见的方法： 1. **检查索引**：确保你的索引值是在有效范围内，即0到序列长度减一。例如，如果列表长度是n，那么有效的索引应该是0, 1, ..., n-1。 ```python my_list = [1, 2, 3, 4, 5] print...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值