scrapy框架爬虫报错UnicodeDecodeError

已于 2024-03-15 21:52:36 修改
阅读量849 收藏
点赞数 6
文章标签： scrapy 爬虫 python
于 2024-03-15 21:46:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Captain_Thomas_L/article/details/136750813
版权
本文讲述了Scrapy在解析robots.txt时遇到编码问题，导致UnicodeDecodeError。为解决此问题，建议在settings.py中将ROBOTSTXT_OBEY设置为False，以避免遵守robots协议。
摘要由CSDN通过智能技术生成

2024-03-15 21:38:44 [scrapy.robotstxt] WARNING: Failure while parsing robots.txt. File either contains garbage or is in an encoding other than UTF-8, treating it as an empty file.
Traceback (most recent call last):
  File "c:\users\卡尔\mysoftward\python3.7.9\lib\site-packages\scrapy\robotstxt.py", line 15, in decode_robotstxt
    robotstxt_body = robotstxt_body.decode("utf-8")
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcc in position 62: invalid continuation byte

似乎是因为scrapy默认遵守robots协议，发生了错误

在settings.py中拒绝遵守robots协议即可

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

Captain_Thomas_L
关注
  • 6
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
scrapy 爬虫 环境搭建入门（一）
FREEDOM
10-28 1559
Scrapy介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加
【python】爬虫实践项目（一）：39问医生
奥斯卡带你飞
01-20 1006
【python】爬虫实践项目（一）：39问医生 【导语】 作为一个刚开始学习爬虫的小白，逐渐感觉想要写好网络爬虫并不是一件容易的事，其中需要考虑的地方有很多。受大环境影响，无论是工程领域还是研究领域，数据已然成为了不可或缺的部分，而数据的获取除却人工模拟，很大程度上通过爬虫来爬虫需要的数据。当然，掌握了爬虫，对工作上或者是生活上，在收集各种各样的数据或者文件都会更加的方便快捷。 学历过程，想要基础更加扎实，就必须学习爬虫相关的各种基础库，比如： """ 发送请求：urlib，urlib3，requests
当scrapy遇见了gbk
yuhui_2000的博客
10-10 481
Traceback (most recent call last): File "e:\python\installation\lib\site-packages\scrapy\robotstxt.py", line 16, in decode_robotstxt robotstxt_body = robotstxt_body.decode('utf-8') UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd5 in position.
【爬虫篇】“UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xd5 in position 52988“ 异常的解决方法
weixin_40458518的博客
01-23 3351
爬取网站时，有的网站，进行“utf-8”解码时，报错。 注意：网站是utf-8编码没有错，不是gbk之类的其它编码。网站的实际编码可以通过浏览器的开发者工具（F12键）中的Console的浏览器控制平台输入如下代码，可以查看。 document.charset # 'UTF-8' 代码1：报错 from urllib.request import urlopen res = urlopen('https://www.chinanews.com.cn/china/') print(res.read(
使用Robot Framework运行时后台报错UnicodeDecodeError:'utf8' codec can't decode byte
enen1129的博客
08-15 7350
使用Robot Framework进行自动化测试，运行时遇到 UnicodeDecodeError :'utf-8' codec can't decode byte 0xd0 in position 46:invalid continuation byte 如下方法可以解决： 1，找到Python目录：C:\Python27\Lib\site-packages\Selenium2Libr...
Failure while parsing robots.txt. File either contains garbage or is in an encoding other than UTF-8
liulanba的博客
11-13 3073
在使用scrapy爬取图片的时候返回了一个这样的错误 Failure while parsing robots.txt. File either contains garbage or is in an encoding other than UTF-8, treating it as an empty file 这里先看一下robot.txt是什么？ settings.py里面有一条： ROBOTSTXT_OBEY = True 就是表示要遵守robots.txt 的规则 1）robots.txt
scrapy爬虫练习-中财网股票数据爬取
小刘的博客
01-07 884
settings.py # 添加如下代码指定输出字段顺序 FEED_EXPORT_FIELDS = ['code', 'name', 'new', 'rise_fall', 'price_limit', 'harvest', 'opening', 'high', 'low', 'volume', 'turnover', 'ratio', 'rate', 'capital', 'currency', 'company', 'trade', 'time', 'capitals', 'A_shares']..
[Python]网络爬虫（12）：爬虫框架Scrapy的第一个爬虫示例入门教程
热门推荐
汪海的实验室
02-23 21万+
爬虫框架Scrapy的第一个爬虫示例入门教程。 我们使用dmoz.org这个网站来作为小抓抓一展身手的对象。 首先先要回答一个问题。 问：把网站装进爬虫里，总共分几步？ 答案很简单，四步： 新建项目 (Project)：新建一个新的爬虫项目 明确目标（Items）：明确你想要抓取的目标 制作爬虫（Spider）：制作爬虫开始爬取网页 存储内容（Pipeline）：设计管道存储爬取内容 好的，基本流程既然确定了，那接下来就一步一步的完成就可以了。
爬虫简介
徐加七的博客
11-01 361
数据工程： 数据采集 和 数据存储（爬虫系统） 数据计算、分析 和 数据可视化（数据分析） 数据建模 和 数据训练（数据挖掘、机器学习） 1. 什么是爬虫？ 抓取网页数据的程序。 2. 爬虫是怎么抓取网页数据？ 网页三大特征： -1. 网页都有自己的URL（统一资源定位符）来进行互联网定位； -2. 网页都使用 HTML（超文本标记语言）来描述页面信息； -3...
NLP 获取相似词 - 1.爬取百度搜索结果
GreatXiang888的博客
12-09 1853
视频链接：https://www.bilibili.com/video/av78674056 一，前言 NLP实际项目要用到，给定一个词，找出它的同义词、相似词、拓展词等。 我思考了下，有： 1，同义词表 2，word2vec同义词 等方法。 1肯定可行，但效果不一定好，现有资源为 哈工大同义词表；2方法之后试一下，一个是性能和速度，在windows下能否有效执行，另一个是到底有没...
关于Scrapy爬虫项目运行和调试的小技巧（下篇）
weixin_34376986的博客
04-27 365
前几天给大家分享了关于Scrapy爬虫项目运行和调试的小技巧上篇，没来得及上车的小伙伴可以戳超链接看一下。今天小编继续沿着上篇的思路往下延伸，给大家分享更为实用的Scrapy项目调试技巧。三、设置网站robots.txt规则为False一般的，我们在运用Scrapy框架抓取数据之前，需要提前到settings.py文件中，将“ROBOTSTXT_OBEY = True”改为ROBOTSTXT_OB...
Scrapy创建爬虫文件报错UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xae in position 187: illegal multib
tangzhu167的博客
05-10 629
Scrapy创建爬虫文件报错UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xae in position 187: illegal multibyte sequence 刚入门学Scrapy，创建好mySpider后执行scrapy genspider itcast “itcast”生成爬虫文件报错，mark一下解决办法 注意看报错信息，报错都有文件位置，一个个文件点开看，发现configparser.py这个文件代码没有指定编码，分析可能是这个
scrapy中ROBOTSTXT_OBEY = True的相关说明
会飞的鱼的博客
06-09 2787
转载自  https://blog.csdn.net/you_are_my_dream/article/details/60479699在scrapy中创建项目以后，在settings文件中有这样的一条默认开启的语句：# Obey robots.txt rules ROBOTSTXT_OBEY = True 观察代码可以发现，默认为True，就是要遵守robots.txt 的规则，那么 ro...
Python scrapy 常见问题及解决 【遇到的坑】
weixin_33921089的博客
08-12 491
1.爬虫出现Forbidden by robots.txt 解决方法：setting.pyROBOTSTXT_OBEY = True 改成False 原因：scrapy抓包时的输出就能发现，在请求我们设定的url之前，它会先向服务器根目录请求一个txt文件 这个文件中规定了本站点允许的爬虫机器爬取的范围（比如你不想让百度爬取你的页面，就可以通过robot来限制），因为默认scrapy遵守...
Robots协议
Dis_k1032298871的博客
02-07 257
Robots协议：网络爬虫排除标准 作用：网站告知网络爬虫哪些页面可以抓取，哪些不行 形式：在网站根目录下的robots。txt文件。 # 注释，* 代表所有，/代表根目录 User-agent: * Disallow: / Robots协议的使用： 网络爬虫：自动或人工识别robots.txt文件
小白运行Scrapy出错，求大佬指教！！！！！！！！！！！！！！
CurtainOfNight的博客
02-03 3429
import scrapy # 需要继承scrapy.Spider类 class mingyan(scrapy.Spider): name = "mingyan2" # 定义蜘蛛名 def start_requests(self): # 由此方法通过下面链接爬取页面 # 定义爬取的链接 urls = [ 'htt...
java---网络爬虫讲解
西_北
04-10 1661
网络爬虫讲解（附java实现的实例）  网络蜘蛛即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页，从 网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个
爬虫出现Forbidden by robots.txt
菜鸡瞎讲
06-10 3万+
先说结论，关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。 使用scrapy爬取淘宝页面的时候，在提交http请求时出现debug信息Forbidden by robots.txt，看来是请求被拒绝了。开始因为是淘宝页面有什么保密机制，防止爬虫来抓取页面，于是在spider中填入各种header信息，伪装成浏览器，结果还是不行。。。用
scrapy框架爬虫
最新发布
09-20
scrapy是一个功能强大的Python爬虫框架，它能够帮助开发者快速、高效地构建和部署爬虫。scrapy框架提供了一套完整的爬取、解析和存储数据的工具和方法。以下是使用scrapy框架进行爬虫的基本步骤： 1. 新建项目：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值