读写文件以及字符编码是怎么回事呢

最新推荐文章于 2022-06-10 09:54:13 发布

A.Monster

最新推荐文章于 2022-06-10 09:54:13 发布

阅读量177

点赞数

分类专栏： Python基础

本文链接：https://blog.csdn.net/weixin_45591261/article/details/104807690

版权

Python基础专栏收录该内容

7 篇文章 0 订阅

订阅专栏

读写文件

read(): 指定读取指定大小的文件（默认一次读取所有）
readline(): 逐行读取，适合读大文件
readlines(): 一次性读取所有文件，将文件按行读取成列表
经典面试题：现在有一个5G的文件，用python写入另一个文件里
我们使用了一个 while 循环来读取文件内容，每次最多读取 8kb 大小
这样可以避免之前需要拼接一个巨大字符串的过程，把内存占用降低非常多。

def read_big_file_v(fname):
    block_size = 1024 * 8
    with open(fname,encoding="utf8") as fp:
        while True:
            chunk = fp.read(block_size)
            # 当文件没有更多内容时，read 调用将会返回空字符串 ''
            if not chunk:
                break
            print(chunk)
path = r'C:\aaa\luting\edc-backend\tttt.py'
read_big_file_v(path)

字符编码

各种编码由来
- ASCII : 不支持中文（一个字母一个字节：a/b/c）
- GBK : 是中国的中文字符，其包含了简体中文和繁体中文的字符
- Unicode : 万国编码（Unicode 包含GBK）
Unicode（每个字母需要用两个字节：a/b/c）
- 存储所有字符串都用连个字节
- Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码
- 规定所有的字符和符号最少由 16 位来表示（2个字节），即：2 **16 = 65536
- 这里还有个问题：使用的字节增加了，那么造成的直接影响就是使用的空间就直接翻倍了
Utf-8 : 可变长码, 是Unicode 的扩展集
- UTF-8编码：是对Unicode编码的压缩和优化，他不再使用最少使用2个字节，而是将所有的字符和符号进行分类
- ascii码中的内容用1个字节保存、欧洲的字符用2个字节保存，东亚的字符用3个字节保存…
  存一个a字母用一个字节，存一个中文用三个字节
python2与python3的几个区别
- Python2默认编码方式为ASCII， Python3 默认编码方式为UTF-8（是Unicode 的扩展集）
- python2中字符串有str和unicode两种类型， python3 中字符串有str和字节(bytes) 两种类型
- python3中不再支持u中文的语法格式
python2和python3中编码转换
- 在python3中字符串默认是unicode所以不需要decode()，直接encode成想要转换的编码如gb2312
- 在python2中默认是ASCII编码，必须先转换成Unicode，Unicode 可以作为各种编码的转换的中转站