解决Win环境下，使用scrapy的gbk编码问题，UnicodeDecodeError: 'gbk' codec can't decode byte 0xab in position 220

最新推荐文章于 2023-05-30 19:39:11 发布
最新推荐文章于 2023-05-30 19:39:11 发布
阅读量838 收藏
点赞数 1
分类专栏： python爬虫 Bug 文章标签： scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Diriers/article/details/82634479
版权

由于编码问题导致,当框架读取网页的时候无法识别gbk编码产生报错，忽略即可。
在configparser.py 中修改。errors=”ignore”

with open(filename, encoding=encoding,errors="ignore") as fp:

configparser,py
by:diriers

Diriers
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
'utf-8' codec can't decode byte 0xd5 in position 0: invalid continuation byte
jacke121的专栏
03-19 7998
pip install cupy时报错：site-packages\pip\compat\__init__.py 'utf-8' codec can't decode byte 0xd5 in position 0: invalid continuation byteD:\ProgramData\Miniconda3\envs\python3.6\Lib\site-packages\pip\com...
scrapy安装问题UnicodeDecodeError
u014516174的博客
08-27 259
scrapy在windows7命令行下安装出现以下问题： UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xb1 in position 1: ordinal not in range(128) 这是字符编码的问题，而且问题是环境变量中有中文而导致的。即使scrapy路径不包含中文，但若其他部分包含中文，同样会导致scrapy出错。删去中
Python用Scrapy爬虫报错UnicodeEncodeError: 'gbk' codec can't encode character '\u2022' ，解决方案
u013155359的博客
08-10 1万+
错误：UnicodeEncodeError: 'gbk' codec can't encode character '\u2022' in position 7: illegal multibyte sequence 解决：import io import sys sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encodin...
scrapy gbk编码解析失败的问题
weixin_30648963的博客
06-25 153
在使用scrpay 采集网易游戏网页时，遇到了编码失败的问题 http://play.163.com/17/0520/15/CKT0U63D00318PFI.html code_datas = byte.decode('gbk') 这里的'gbk'编码解析失败，查询原因得知，中文有三大编码，后面的标准是前面标准的扩展。GB2312 < GBK < GB18030将命令换成 co...
Scrapy创建爬虫文件报错UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xae in position 187: illegal multib
tangzhu167的博客
05-10 629
Scrapy创建爬虫文件报错UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xae in position 187: illegal multibyte sequence 刚入门学Scrapy，创建好mySpider后执行scrapy genspider itcast “itcast”生成爬虫文件报错，mark一下解决办法 注意看报错信息，报错都有文件位置，一个个文件点开看，发现configparser.py这个文件代码没有指定编码，分析可能是这个
python——常见ERROR汇总
weixin_43902320的博客
02-09 1389
读取txt/csv等数据时 UnicodeDecodeError: 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence 释义： Unicode的解码（Decode）出现错误（Error）了，以gbk编码的方式去解码（该字符串变成Unicode），但是此处通过gbk的方式，却无法解码（can’t...
scrapy爬虫UnicodeDecodeError: 'gbk' codec can't decode byte 0xaf in position 177: illegal multibyte sequence
最新发布
10-16
你可以尝试在settings.py文件中设置编码为'utf-8'，或者在爬虫代码中使用chardet库自动检测网页编码。 相关问题: 1. scrapy爬虫如何设置请求头？ 2. 如何处理scrapy爬虫中的异常？ 3. scrapy爬虫如何实现
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc8 in position 3: invalid continuation byte
wuhongrui09的博客
07-05 3万+
Exception: Traceback (most recent call last): File "********\python36\lib\site-packages\pip\compat\__init__.py", line 73, in console_to_str return s.decode(sys.__stdout__.encoding) UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc8 in position
win10 下python2.7遍历中文文件夹编码问题：ascii' codec can't decode byte 0xe8 in position 60: ordinal not in rang
weixin_41931602的博客
06-05 723
源代码：big_shuzu = [] path = r"C:\Users\ME\Desktop\Python project\pachong\scrapy\baichuan4\证券时报网"。encode（'gbk'） for root,dirs,files in os.walk(path): print(root) print(dirs) print files for dir in d...
Python3 解决编码问题： `UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 10: ille
AoboSir.com
11-26 3万+
Python3 解决编码问题： UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 10: illegal multibyte sequence — 当执行爬虫将爬取信息打印到终端时出现的编码错误 Python 版本：python-3.5.0-amd64 目标网站：http://blog.csdn.ne
关于UnicodeDecodeError: 'gbk' codec can't decode byte的解决办法
热门推荐
marselha的博客
06-13 11万+
将with open(file) as f: 改成 with open(file, ‘r’, encoding=‘utf-8’) as f: 就可以了。
Python_OS模块实战以及UnicodeDecodeError: ‘gbk‘ 解决方法（统计文件数目，计算文件夹大小，递归搜索文件，储存文件路径，文件深度遍历os.walk）
dodamce的博客
02-03 855
文章目录1.统计当前目录下每个文件类型的文件数2.计算当前文件夹下所有文件的大小3. 用户输入文件名以及开始搜索的路径，搜索该文件是否存在。如遇到文件夹，则进入文件夹继续搜索4.用户输入开始搜索的路径，查找该路径下（包含子文件夹内）所有的Python文件以及普通文档（后缀是.py/.txt），并把创建一个文件（py.txt）存放所有找到的文件的路径5.用户输入关键字，查找当前文件夹内（如果当前文件夹内包含文件夹，则进入文件夹继续搜索）所有含有该关键字的文本文件（.txt后缀），要求显示该文件所在的位置以及关
Python报错 UnicodeDecodeError: ‘gbk‘ codec can‘t decode bytein position 2: illegal multibyte sequence
innetdancer的博客
05-30 8480
错误的意思是：Unicode的解码（Decode）出现错误了，以gbk编码的方式去解码（该字符串变成Unicode），但是此处通过gbk的方式，却无法解码（can’t decode）.''illegal multibyte sequence"的意思是非法的多字节序列，也就是说无法解码了。比如有中文的存在，老老实实用 utf-8。文本中出现的一些特殊符号超出了gbk的编码范围，可以选择编码范围更广的‘gb18030’出现这样的错误，可能是要处理的字符串本身不是gbk编码，却是以gbk编码去解码。
Python读取文件时出现UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x80 in position ...
qq_31267769的博客
10-17 6万+
with open(self.path, 'r') as test: for line in test: pass 代码如上，出现错误：UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position ... UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 9: ... 或者是 UnicodeDecodeErr..
报错UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte的解决办法
Sciws的博客
08-21 1万+
在修改yolov7的模型配置文件cfg时出现了‘gbk’ Unicode解码错误，这里是我们读取文件时出现了解码错误。点击箭头所指找到报错源头。
Scrapy框架爬取时，UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb1 in position解决方法
Trial & Error
02-14 1万+
编码嘛，不是utf8就是gbk 这里贴上代码 import demjson start_urls = ['https://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=壁纸&amp;tag=全部&amp;start=0&amp;len=15'] def parse(self, response): ...
scrapy框架爬虫部署到scrapyinghub上报错UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 110
淼素
09-02 438
python 读取文件时报错UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 110: illegal multibyte sequence 把要导入的模块写在requirements.txt文档中，比如： bs4==0.0.1 pandas==0.19.2 selenium==3.141.0 request...
pyinstaller打包错误 UnicodeDecodeError: 'gbk' codec can't decode byte 0xab in position 160:
小呆
05-27 1万+
在将.py文件打包时，出现了下列错误 &gt;&gt;C:\Users\小呆\PycharmProjects\pycharm编程&gt;pyinstaller -F C:\Users\小呆\PycharmProjects\pycharm编程\实验室笔试\火车票.py &gt;&gt;Traceback (most recent call last):   File "C:\Users\小呆\A...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值