关于python3版本下读取文件时出现的字符编码错误

最新推荐文章于 2022-10-12 21:30:23 发布
最新推荐文章于 2022-10-12 21:30:23 发布
阅读量1.3k 收藏 2
点赞数
分类专栏： python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41884569/article/details/90720444
版权

UnicodeDecodeError: ‘utf-8’ codec can’t decode byte…

对于python在读取文件出现编码格式错误的情况下，我在网上找的很多方法都没有解决我遇到的错误，如果你也遇到了网上提供的改变文件编码格式也无法解决的话，可以参考我这里的方法。
有两种方法解决可以在open(file, ‘r’)中加上open(file, ‘rb’)以二进制的方式打开文件就可以了，但是这种方法打开文件存在局限性，就是打开的文件是二进制的，对于一些需要去文件中搜索具体内容的情况不适用，这样的话，第二种方法就可以了，open(file, ‘r’， errors=‘ignore’)忽略掉因为文件的编码格式而打开文件错误也可以正常打开文件

不具名的tester
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
浅析Python 字符编码与文件处理
09-24
在编写和保存Python文件时，务必保持文件编码与声明的编码一致，以避免编码错误。 Python程序的运行过程涉及到文件读取。当Python解释器启动时，它会读取源代码文件，并将其内容按照文件头部指定的编码（如UTF-8）...
python 读写文件包含多种编码格式的解决方式
09-18
本文将详细介绍如何使用Python解决读写文件时遇到的多种编码格式问题。 首先，我们需要理解编码的基本概念。编码是将字符转换为二进制表示的过程，常见的编码格式有ASCII、UTF-8、GBK等。不同的编码格式适用于不同...
python汉字编码错误_python文件以错误的编码utf8加载
weixin_39640520的博客
11-27 1102
我对编程相当陌生，我不理解我得到的这个错误消息，file was loaded in the wrong encoding utf-8或者它不是代码中的错误消息，但是我在我的新的.txt文件中得到了它，我在其中写入了所有找到的关键字。txt文件将upp到4000多行，其中包含我在另一个程序中对Excel进行排序，然后将其发送到Access。这个信息是什么意思？有没有办法解决它？谢谢我用pychar...
python 配置文件编码问题
王铁涛技术博客
03-12 410
config.conf 是utf8cp = ConfigParser.ConfigParser()cp.readfp(codecs.open('config.conf',"r","utf-8-sig"))helpinfo = cp.get('helpinfo','main')
Python 读取文本文件编码错误解决方案(未知文本文件编码情况下解决方案)
PLA12147111的博客
06-05 6506
很多情况下我们是这样读取文本文件的: with open(r'F:\.Python Project\spidertest1\test\pdd凉席.txt', 'r') as f: text = f.read() 但是如果该文本文件是gbk格式的,那么将会报以下错误: Traceback (most recent call last): File "F:/.Python Pr...
(Python)文件读取时出现编码报错(二)——已解决
lion_no_back的博客
10-12 780
(Python)文件读取时出现编码报错(二)——已解决
Python读取文件时出现的编码错误解决
m0_37108612的博客
01-13 551
python读取CSV，TXT文件出现GBK编码问题时可以将编码方式改成encodeing=‘UTF-8-fig’的形式
Python3 解决读取中文文件txt编码的问题
09-18
当尝试使用Python读取含有中文字符的TXT文件时，可能会遇到“UnicodeDecodeError: ‘utf-8' codec can't decode byte…”的错误。这通常意味着Python试图以UTF-8编码解析一个实际上使用其他编码（如ASCII）的文件，...
Python读取文件内容为字符串的方法(多种方法详解)
09-17
在Python编程中，读取文件内容为字符串是常见的任务，特别是在处理文本文件时。这篇文章将详细解释三种简单易懂的方法，适用于Python初学者。 方法1：导入包含字符串的模块 有时候，你可能已经将文件内容作为字符串...
python3插入数据库编码错误解决方法
u011546871的专栏
07-28 2861
完整代码:coding: utf-8import pymysql打开数据库连接db = pymysql.connect(“localhost”,”root”,”00000000”,”TESTDB” ,use_unicode=True, charset=”utf8”)若没有 use_unicode=True, charset=”utf8” 那么就会发生如题错误:使用cursor()方法获取操作游标cu
python3编码错误_python3编码错误
weixin_34467704的博客
01-29 410
python3很少有编码错误了，偏偏我就遇到了。当时内心是崩溃的。环境：Ubuntu16.04.02，python3.5.2，代码中涉及文档无中文。#这里还有记不清了，大概是README.txt文件第n行出问题。File "usr/local/Python35/lib/codecs.py", line 300, in decode(result, consumed) = self._buffer_...
(Python)文件读取时出现编码报错(一)——已解决
lion_no_back的博客
10-09 2234
(Python)文件读取时出现编码报错——已解决
python读取文件乱码问题
嗨皮螃的博客
11-08 2373
今天突然想做一个实时读取 日志文件的程序，然后用Python爬虫直接爬取文件，用只读的方式打开避免对 系统 写入日志 造成影响。 上代码： #! /usr/bin/env python # coding=utf-8 import subprocess import time import chardet p = 0 with open('php_sql_err_2018-11-08.log...
python3 读取文件时，报编码错误（illegal multibyte sequence ）
hhd1988的专栏
11-11 5000
问题现象： 有时当读取一个文件时，报出以下错误，很是捉急。 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe1 in position 7205: invalid continuation byte 问题原因: 文件中含有utf-8或gbk无法编码的字符，或者是打开的编码不对。 解决方法： 解决方法一：用 utf-8 编码打开 （实际文件的编码方式） 如下：open('d:/data/synopses_list_wiki.tx..
解决python中出现的不可见字符问题，OSError: [Errno 22] Invalid argument: ‘\u202a**.csv‘
囧疼她的博客
11-26 5046
解决python中出现的不可见字符问题，OSError: [Errno 22] Invalid argument: '\u202a**.csv'问题描述不可见控制字符解决方法 问题描述 今天遇到一个坑，读取文件时，在用到open函数时，始终报OSError: [Errno 22] Invalid argument:的错误，意思说文件路径错误。 pandas读取csv文件时，pandas自带open()运行报错误OSError: [Errno 22] Invalid argument: '\u202a**.c
python3——UnicodeDecodeError: 'gbk' codec can't decode byte 0xad in position 840: illegal
u013724573的专栏
04-09 1594
错误： UnicodeDecodeError: 'gbk' codec can't decode byte 0xad in position 840: illegal multibyte sequence解决办法：f = open('1.txt', 'r', encoding="utf8") buff = f.read() f.close()注意事项：utf8不要写成utf-8，我就是因...
python 写文件编码错误解决方法
lixingdefengzi的专栏
09-14 1503
错误：  fid.write(content) UnicodeEncodeError: 'ascii' codec can't encode characters in position 85-87: ordinal not in range(128) 结果方法：在脚本开始处或写文件的函数内部添加： import sys reload(sys) sys.setdefaultenco
python3的文件编码问题
u014443884的专栏
01-11 6802
最近手头要做一下文本过滤的相关，于是涉及到这个问题。因为用到wordmaker来生成字典，但是呢，wordmaker的input file目前只支持gbk编码。所以，做的时候就遇到了文件编码转换的问题。 最初的解决方法是直接指定文件的编码，open(file_name, 'w', encoding='gbk')，随手跑了下发现可以的。但是跑全量的时候挂掉了，然后回头看的时候，发现有些数据里面不仅
python一串代码中读取了不同编码方式的文件，运行之后会出现错误吗
最新发布
06-11
如果 Python 代码读取了不同编码方式的文件，可能会出现编码错误，导致程序崩溃或者读取到错误的数据。这是因为不同编码方式的文件使用的字符集不同，如果不正确地指定编码方式，就会导致解码错误。 为了避免这种错误，你应该在读取不同编码方式的文件时，指定正确的编码方式。例如，在使用 Python 自带的 `open` 函数读取文件时，可以指定 `encoding` 参数来指定文件的编码方式。在使用 Pandas 库的 `read_csv` 函数读取 CSV 文件时，可以指定 `encoding` 参数来指定文件的编码方式。 以下是一个读取不同编码方式的文件的示例代码，其中使用了 `open` 函数和 Pandas 库的 `read_csv` 函数，并在读取文件时指定了正确的编码方式： ```python import os import chardet import pandas as pd def get_encoding(file): with open(file, 'rb') as f: raw_data = f.read() return chardet.detect(raw_data)['encoding'] folder = '/path/to/folder' files = os.listdir(folder) csv_files = [f for f in files if f.endswith('.csv')] for file in csv_files: file_path = os.path.join(folder, file) encoding = get_encoding(file_path) with open(file_path, 'r', encoding=encoding) as f: # 处理文件 pass df = pd.read_csv(file_path, encoding=encoding) # 处理 DataFrame ``` 在这个代码中，`get_encoding` 函数用来查询文件的编码方式，然后在处理文件和 DataFrame 时，通过指定 `encoding` 参数来指定正确的编码方式。这样可以避免因编码错误导致的程序异常。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值