python3对文件编码的转换处理

将文件转换成GBK编码

with open(dest_file, ‘w’, encoding=“GB18030”) as fp:

for row in open(source_file,‘r’, encoding=charset):

fp.write(row)

在转换生产数据的时候还算好用， 但有些字符还是无法很好的识别， 导致转换失败。

在网上又看到了一个专门用来编码转换的包:codecs, 用法大同小异

示例二：

‘’’

遇到问题没人解答？小编创建了一个Python学习交流QQ群：778463939

寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！

‘’’

import os, sys

import chardet

import codecs

source_file = sys.argv[1] # 源文件

dest_file = sys.argv[2] # 转后的目标文件

确定源文件字符编码

for row in open(source_file, ‘rb’):

tmp = chardet.detect(row)

language = tmp.get(“language”)

if language == ‘Chinese’:

charset = “GB18030”

else:

charset = “UTF-8”

break

将文件转换成GBK编码

fp = codecs.open(dest_file, ‘w’, encoding=“GB18030”) # 中文编码写入

for row in codecs.open(source_file, ‘r’, encoding=charset): # 指定编码读

fp.write(row)
fp.close()

通过 Unicode 编码来进行不同编码之间的相互转化

1、不同的编码之间不能互相识别，不能相互转化，会报错或出现乱码

2、国际通用标准：文字通过网络传输、或硬盘存储等不能使用 Unicode 编码方式，因为 Unicode 使用的是升级版 32 位的，太费流量和空间

3、在 Python3 版本中，唯独 string 在内存中的编码方式是 Unicode，所以字符串不能直接进行网络传输及进行文件的存储

4、bytes：也是一种数据类型，不是字节，与 string 类型就像是孪生兄弟

5、为啥要有 bytes ？—— bytes 内部编码不是 Unicode 方式，因此可以进行网络传输和文件的存储

6、不同编码之间相互转化都需要先变成unicode编码, encode编码， decode解码

示例：

‘’’

遇到问题没人解答？小编创建了一个Python学习交流QQ群：778463939

寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！

‘’’

s1 = “中国”

b=s1.encode(“gbk”)

s2 = b.decode(“gbk”)

s3=u"中国"

print(s1)

print(b)

print(s2)

print(s1s2s3)

结果 ：

中国

b’\xd6\xd0\xb9\xfa’

中国

True

在python3版本中, 字符串的编码方式就是Unicode， 所以中国==u"中国"

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）