scrapy爬虫出现UnicodeDecodeErnor: ‘utf-8‘ codec can‘t decode byte 0xd6 in position 809: invalid

已于 2023-09-15 15:31:16 修改
阅读量157 收藏
点赞数 1
文章标签： scrapy 爬虫
于 2023-09-14 20:52:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62238603/article/details/132890438
版权

今天在使用xpath爬取数据的时候发现爬取速度太慢，改用scrapy，报错UnicodeDecodeErnor: 'utf-8' codec can't decode byte 0xd6 in position 809: invalid continuation byteCall stack:，在网上搜索修改pycharm里面的文件编码后发现还是报错

最后发现需要在文件的顶端加入

# -*- codig: utf-8 -*-

问题得到解决 困扰了我数小时的错误

一枚代码小白
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
'utf-8' codec can't decode byte 0xd5 in position 0: invalid continuation byte
jacke121的专栏
03-19 7939
pip install cupy时报错：site-packages\pip\compat\__init__.py 'utf-8' codec can't decode byte 0xd5 in position 0: invalid continuation byteD:\ProgramData\Miniconda3\envs\python3.6\Lib\site-packages\pip\com...
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc8 in position 3: invalid continuation byte
热门推荐
wuhongrui09的博客
07-05 3万+
Exception: Traceback (most recent call last): File "********\python36\lib\site-packages\pip\compat\__init__.py", line 73, in console_to_str return s.decode(sys.__stdout__.encoding) UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc8 in position
scrapy可视化遇到的错误
weixin_47193259的博客
08-24 809
一、读取文件:Unicode解码错误：“utf-8”编解码器无法解码位置238中的字节0xd3:继续字节无效 UnicodeDecodeError: 'utf-8' codec can't decode byte 0x87 in position 11: invalid start byte 解决方法一： 首先把csv文件以记事本的格式打开，默认保存是ANSI编码，我们应该手动修改成utf-8 ===>(如果记事本打开后是乱码，我们可以把csv数据粘贴到记事本上后保存） 解决方法二： 将文件在py
scrapy框架'utf-8' codec can't decode byte 0xd5 in position 248: invalid continuation byte
qq_43671933的博客
11-02 1012
出现原因：我在利用我的爬虫去爬取某个网站时，突然爆出了这个错误。 可以。错误的大概以为为解码方式不对，不是utf-8，我之前爬其它的主流网站时都没爆出这个错误，但是我爬的报错网站是个老古董，个人感觉老古董网站的编码方式还真是让人无语。回到正题，解码方式基本就两种，不是utf-8,就是gbk两个任意选取。 解决：根据提示，找到G:\Python\Lib\site-packages\scrapy\r...
提示‘utf-8‘ codec can‘t decode byte 0xc8 in position 0: invalid continuation byte解决办法
qq_27930545的博客
01-05 4402
pd.read_csv(fpath,encoding='gb18030') 国标编码 其他解决办法参考： 用python3读csv文件，出现UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd0 in position 0: invalid con_moledyzhang的博客-CSDN博客
Scrapy框架爬取时，UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb1 in position解决方法
Trial & Error
02-14 1万+
编码嘛，不是utf8就是gbk 这里贴上代码 import demjson start_urls = ['https://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=壁纸&tag=全部&start=0&len=15'] def parse(self, response): ...
linux 下‘utf-8‘ codec can‘t decode byte 0xb4 in position 315: invalid start byte的编码问题
qq_44419614的博客
12-03 1789
今天再来记录一个犯了又犯的错误。 今天在linux下用scrapy爬虫的时候，一直出现一个错误： ‘utf-8’ codec can’t decode byte 0xb4 in position 315: invalid start byte 这一看就是编码问题，第一想法是觉得爬下来的网页有中文，所以会出现编码错误，但是改了又改，改了又改，总是会出现这个编码错误， 这是代码，是在linux默认的编辑器中编辑的，就在快要放弃的时候，突然想到以前解决的一个错误，就是会不会是注释有中文，所以会出现编码错误，然
python读取文本文件时报错‘utf-8‘ codec can‘t decode byte 0xb4 in position 100:
zzzzxqa的博客
07-26 941
在读取文件时用二进制读取，之后再baqi转换为你需要的格式， fi = open(“icourses.txt”,“rb”) ls=[] for line in fi: line=line.decode(‘gbk’,“ignore”) #出现异常报错是由于设置了decode()方法的第二个参数errors为严格（strict）形式造成的，因为默认就是这个参数，将其更改为ignore等即可。文本文件中有中文用UTF8会乱码，使用了gbk正常展示 详见：https://blog.csdn.net/wang7807
UnicodeDecodeError:"utf-8" codec can't decode byte 0xc1 in postion19:invalid start bytes
一位在路上的工程师的博客
05-05 2197
在win10系统中使用pip安装Flask框架和Scrapy框架报有同样的错误，UnicodeDecodeError:”utf-8” codec can’t decode byte 0xc1 in postion19:invalid start bytes。 如图片所示： 解决方式：按照报错提示找到发生错误的文件（python的安装目录，每个人不太相同）例如我这里的：c:\users\xx...
基于Python的网易新闻Scrapy爬虫：数据分析与可视化大屏展示-毕业源码案例设计.rar
04-18
基于Python的网易新闻Scrapy爬虫：数据分析与可视化大屏展示-毕业源码案例设计.rar基于Python的网易新闻Scrapy爬虫：数据分析与可视化大屏展示-毕业源码案例设计.rar基于Python的网易新闻Scrapy爬虫：数据分析与可视...
爬虫工具 scrapy 包：pymssql-2.1.4-cp36-cp36m-win_amd64.whl
09-27
安装 scrapy 爬虫工具的前置包，对应于 python 3.6
scrapy-playwright::performing_arts:适用于Scrapy的Playwright集成
03-28
Scrapy的Playwright...要求Python 3.7以上Scrapy 2.0+ 剧作家0.7.0+安装$ pip install scrapy-playwright配置通过替换默认的http和https下载处理程序： DOWNLOAD_HANDLERS = { "http" : "scrapy_playwright.handler....
Scrapy-SearchEngines：bing，google，baidu搜索引擎爬虫。python3.6和scrapy
02-03
seCrawler（搜索引擎搜寻器） 拼凑的项目可以抓取Google / Bing / Baidu的搜索结果通过复制感谢你的分享先决条件python 3.6和scrapy是必需的。命令运行一个命令以关键字从搜索引擎获取50页结果，结果将保存在当前...
mini-scrapy:基于gevent的mini-scrapy爬虫框架
05-04
**迷你Scrapy（mini-scrapy）：基于Gevent的轻量级爬虫框架** 迷你Scrapy（mini-scrapy）是一个简化版的Scrapy框架，它借鉴了Scrapy的设计理念，并利用Gevent库来实现高效的并发处理。这个项目是半成品，意味着它...
为什么需要IP池？
2202_75577207的博客
07-30 222
网络爬虫经常需要大量的HTTP请求，而某些网站可能会对频繁请求同一IP地址的行为进行限制或封锁。通过使用IP池，我们可以轮流使用多个IP地址，降低单个IP被封的概率，确保爬虫能够持续正常运行。地理分布： 有些网站可能对不同地理位置的访问有不同的限制或规定。通过使用IP池，可以模拟不同地理位置的访问，提高爬虫的灵活性。反反爬虫： 有些网站可能会识别和封锁常见的代理IP，通过使用IP池，可以不断更新IP地址，提高反反爬虫的效果。隐私保护： 使用IP池可以降低个别IP地址被追踪的风险，保护爬虫的隐私。
浅学爬虫-python爬虫基础
LS_Ai的博客
07-29 960
Python爬虫是指利用Python编写程序从互联网上自动获取信息的技术。爬虫广泛应用于数据收集、价格监控、内容聚合、市场分析等领域。其基本原理是模拟浏览器发送HTTP请求获取网页数据，并通过解析HTML来提取所需的信息。Python爬虫是指利用Python编写程序从互联网上自动获取信息的技术。爬虫广泛应用于数据收集、价格监控、内容聚合、市场分析等领域。其基本原理是模拟浏览器发送HTTP请求获取网页数据，并通过解析HTML来提取所需的信息。
基于北京市空气质量影响因素研究系统【城市可换爬虫获取、LSTM、Flask、Echarts、MySQL、TensorFlow】
最新发布
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
07-30 808
在此项目研究中，信息收集作为探讨京城大气状况影响要素的初始环节，肩负着为后续剖析和范式构建提供基础资料的关键职责。为了全方位精确地获得相关信息，本课题运用了基于Python语言编制的自动化网络爬虫软件，高效地从公开气象站点上抓取首都各地区的空气品质和气候数据，总计3万余条有效记录。这一信息采集流程不仅涉及数据的获取，还包含了信息的预处理与贮存，保证了资料的精确性和适用性。首先，课题确立了信息采集的对象与范畴，界定了须要收集的空气品质指标，涵盖但不局限于气温、风速、风向、AQI等气象因子。
基于豆瓣音乐、豆瓣图书、豆瓣电影详情获取、长短评获取【豆瓣全家桶系列】
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
07-26 1131
本项目旨在全面采集豆瓣平台上的电影、图书和音乐相关数据，通过精心设计的爬虫系统，实现了对这三大领域详情页面及用户评论的深度抓取。以下是项目的主要特点和成果总结： 1. 多领域数据采集： 成功实现了对豆瓣电影、图书和音乐三大板块的全面数据采集，为后续分析提供了丰富多样的数据源。 2. 详情页面深度抓取： 针对每个领域的详情页面，我们设计了专门的爬虫模块，确保准确获取如标题、评分、简介、创作者信息等核心数据。 3. 评论数据全面采集： 项目不仅关注作品本身，还重点采集了用户的短评和长评。
scrapy爬虫UnicodeDecodeError: 'gbk' codec can't decode byte 0xaf in position 177: illegal multibyte sequence
10-16
这个错误通常是由于网页编码与你的爬虫代码中指定的编码不一致导致的。你可以尝试在settings.py文件中设置编码为'utf-8'，或者在爬虫代码中使用chardet库自动检测网页编码。 相关问题: 1. scrapy爬虫如何设置请求头？ 2. 如何处理scrapy爬虫中的异常？ 3. scrapy爬虫如何实现
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值