Python批量将csv文件的编码方式转换为UTF-8

当我们用pandas是操作CSV文件的时候,常常会因为编码问题出现报错。

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader.read()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._read_rows()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_column_data()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_tokens()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_with_dtype()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._string_convert()

pandas_libs\parsers.pyx in pandas._libs.parsers._string_box_utf8()

UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xca in position 0: invalid continuation byte

如果只是一两个文件,我们可以用系统自带记事本的方法进行解决:

1、右键csv文件,打开方式选择“记事本”打开;
2、ctrl+shift+s另存为,将编码方式由ansi给改为UTF-8,点击确定并替换原文件。

嫌麻烦的也可以在每次用pandas读取csv前加入以下代码。

import pandas as pd
filename='222.csv'
try:
    df = pd.read_csv(filename, encoding='utf-8')
except BaseException:
    df = pd.read_csv(filename, encoding='cp950')
    df.to_csv(filename, encoding='utf-8', index=False)

如果很多类似的ASCII的CSV文件就会非常头痛,下面我们用Python编写一个程序,用来检测并批量转换csv文件的编码方式。

需要指出的是,这个程序并不完善,运行速度没有进行优化,并且仍然有部分文件未能转换成功,但足以应对日常的分析需要。经过尝试,有几种csv文件无法转换:
1、包含图片或者图表的csv文件
2、原先的csv文件内容就是乱码的

觉得有帮助,那请给这篇文章点个赞吧❤️

演示效果:

代码:

import os
from chardet.universaldetector import UniversalDetector

def get_filelist(path):
    """
    获取路径下所有csv文件的路径列表
    """
    Filelist = []
    for home, dirs, files in os.walk(path):
        for filename in files:
            if ".csv" in filename:
                Filelist.append(os.path.join(home, filename))
    return Filelist

def read_file(file):
    """
    逐个读取文件的内容
    """
    with open(file, 'rb') as f:
        return f.read()

def get_encode_info(file):
    """
    逐个读取文件的编码方式
    """
    with open(file, 'rb') as f:
        detector = UniversalDetector()
        for line in f.readlines():
            detector.feed(line)
            if detector.done:
                break
        detector.close()
        return detector.result['encoding']

def convert_encode2utf8(file, original_encode, des_encode):
    """
    将文件的编码方式转换为utf-8,并写入原先的文件中。
    """    
    file_content = read_file(file)
    file_decode = file_content.decode(original_encode, 'ignore')
    file_encode = file_decode.encode(des_encode)
    with open(file, 'wb') as f:
        f.write(file_encode)

def read_and_convert(path):
    """
    读取文件并转换
    """
    Filelist = get_filelist(path=path)
    fileNum= 0
    for filename in Filelist:
        try:
            file_content = read_file(filename)
            encode_info = get_encode_info(filename)
            if encode_info != 'utf-8':
                fileNum +=1
                convert_encode2utf8(filename, encode_info, 'utf-8')
                print('成功转换 %s 个文件 %s '%(fileNum,filename))
        except BaseException:
            print(filename,'存在问题,请检查!')

def recheck_again(path):
    """
    再次判断文件是否为utf-8
    """    
    print('---------------------以下文件仍存在问题---------------------')
    Filelist = get_filelist(path)
    for filename in Filelist:
        encode_info_ch = get_encode_info(filename)
        if encode_info_ch != 'utf-8':
            print(filename,'的编码方式是:',encode_info_ch)

    print('--------------------------检查结束--------------------------')
if __name__ == "__main__":
    """
    输入文件路径
    """    
    path = './'
    read_and_convert(path)
    recheck_again(path)
    print('转换结束!')

核心代码是:

def get_encode_info(file):
    """
    逐个读取文件的编码方式
    """
    with open(file, 'rb') as f:
        detector = UniversalDetector()
        for line in f.readlines():
            detector.feed(line)
            if detector.done:
                break
        detector.close()
        return detector.result['encoding']

Filelist = get_filelist(path=path)
fileNum= 0
for filename in Filelist:
    try:
        file_content = read_file(filename)
        encode_info = get_encode_info(filename)
        if encode_info != 'utf-8':
            fileNum +=1
            convert_encode2utf8(filename, encode_info, 'utf-8')
            print('成功转换 %s 个文件 %s '%(fileNum,filename))
            except BaseException:
                print(filename,'存在问题,请检查!')

  • 27
    点赞
  • 98
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
### 回答1: 可以使用Python中的pandas库来实现将csv文件编码utf-8格式的操作。具体代码如下: ```python import pandas as pd # 读取csv文件 df = pd.read_csv("your_file.csv") # 将编码格式转换utf-8 df.to_csv("your_file_utf8.csv", encoding='utf-8', index=False) ``` 在上述代码中,我们首先使用pandas库的read_csv函数读取csv文件,并将其存储为名为df的数据框。接着,我们使用to_csv函数将数据框转换为以utf-8编码格式存储的csv文件,并将其保存在名为your_file_utf8.csv文件中。注意,在to_csv函数中,我们需要指定参数encoding为'utf-8',以确保输出文件编码格式为utf-8。同时,我们也将参数index设置为False,以避免在输出文件中保存索引列。 ### 回答2: 要将csv文件编码utf-8格式,可以使用Pythoncsv模块和codecs模块来实现。 首先,需要导入csv模块和codecs模块。然后,使用codecs模块的open函数打开csv文件,并指定使用utf-8编码。 然后,使用csv模块的reader函数读取csv文件的内容。将读取的内容按行存储到一个列表中。 接下来,在内存中创建一个新的csv文件,并使用csv模块的writer函数来写入内容。 然后,遍历之前存储的行列表,并使用writerow函数将每一行写入新的csv文件中。 最后,关闭原始csv文件和新的csv文件。 以下是示例代码: ```python import csv import codecs # 打开原始csv文件 with codecs.open('原始文件.csv', 'r', encoding='utf-8') as f: reader = csv.reader(f) rows = [row for row in reader] # 创建新的csv文件 with codecs.open('新文件.csv', 'w', encoding='utf-8') as f: writer = csv.writer(f) for row in rows: writer.writerow(row) # 关闭文件 f.close() ``` 这样,就可以将csv文件转换utf-8格式保存为新的csv文件。注意确保原始文件编码与指定的编码一致,以避免乱码。 ### 回答3: 要将CSV文件编码utf-8格式,可以使用Python编程语言的csv库和codecs库。首先,导入所需的库。 ```python import csv import codecs ``` 然后,打开原始的CSV文件和新的UTF-8编码CSV文件。 ```python with open('input.csv', 'r', encoding='utf-8-sig') as file: # 打开原始的CSV文件,使用utf-8-sig解码文本中的BOM字符 reader = csv.reader(file) rows = [row for row in reader] with codecs.open('output.csv', 'w', 'utf-8-sig') as file: # 打开新的UTF-8编码CSV文件,使用utf-8-sig编码文本中的BOM字符 writer = csv.writer(file, delimiter=',', quotechar='"', quoting=csv.QUOTE_MINIMAL) writer.writerows(rows) ``` 在上述代码中,使用csv.reader()函数读取原始CSV文件,并使用列表推导式将其保存为一个名为rows的列表。然后,使用codecs.open()函数打开新的UTF-8编码CSV文件,将rows中的内容写入该文件中。 请注意,'input.csv'是原始的CSV文件的路径,而'output.csv'是新的UTF-8编码CSV文件的路径。要成功运行该代码,请确保将实际的文件路径用于这些参数。 这样,CSV文件就会被编码utf-8格式并保存在新的文件中(output.csv)。
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值