python3对文件编码的转换处理

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

在转换生产数据的时候还算好用， 但有些字符还是无法很好的识别， 导致转换失败。

在网上又看到了一个专门用来编码转换的包:codecs, 用法大同小异

示例二：

‘’’

遇到问题没人解答？小编创建了一个Python学习交流QQ群：778463939

寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！

‘’’

import os, sys

import chardet

import codecs

source_file = sys.argv[1] # 源文件

dest_file = sys.argv[2] # 转后的目标文件

确定源文件字符编码

for row in open(source_file, ‘rb’):

tmp = chardet.detect(row)

language = tmp.get(“language”)

if language == ‘Chinese’:

charset = “GB18030”

else:

charset = “UTF-8”

break

将文件转换成GBK编码

fp = codecs.open(dest_file, ‘w’, encoding=“GB18030”) # 中文编码写入

for row in codecs.open(source_file, ‘r’, encoding=charset): # 指定编码读

fp.write(row)
fp.close()

通过 Unicode 编码来进行不同编码之间的相互转化

1、不同的编码之间不能互相识别，不能相互转化，会报错或出现乱码

2、国际通用标准：文字通过网络传输、或硬盘存储等不能使用 Unicode 编码方式，因为 Unicode 使用的是升级版 32 位的，太费流量和空间

3、在 Python3 版本中，唯独 string 在内存中的编码方式是 Unicode，所以字符串不能直接进行网络传输及进行文件的存储

4、bytes：也是一种数据类型，不是字节，与 string 类型就像是孪生兄弟

5、为啥要有 bytes ？—— bytes 内部编码不是 Unicode 方式，因此可以进行网络传输和文件的存储

6、不同编码之间相互转化都需要先变成unicode编码, encode编码， decode解码

示例：

‘’’

遇到问题没人解答？小编创建了一个Python学习交流QQ群：778463939

寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！

‘’’

s1 = “中国”

b=s1.encode(“gbk”)

s2 = b.decode(“gbk”)

s3=u"中国"

print(s1)

print(b)

print(s2)

print(s1s2s3)

结果 ：

中国

b’\xd6\xd0\xb9\xfa’

中国

True

在python3版本中, 字符串的编码方式就是Unicode， 所以中国==u"中国"

各系统的默认编码方式

• WINDOWS: GBK

• LINUX: UTF-8

• IOS: UTF-8

示例：

windows下生成的文件打开方式

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！