本篇主要是收集几篇比较好的关于编码&解码的博文,便于自己今后遇到问题进一步参考学习
谈谈Unicode编码,简要解释UCS、UTF、BMP、BOM等名词
这是一篇程序员写给程序员的趣味读物。所谓趣味是指可以比较轻松地了解一些原来不清楚的概念,增进知识,类似于打RPG游戏的升级。
我曾经写过一篇《谈谈Unicode编码,简要解释UCS、UTF、BMP、BOM等名词》(以下简称《谈谈Unicode编码》),在网上流传较广,我也收到不少朋友的反馈。本文探讨《谈谈Unicode编码》中未介绍或介绍较少的代码页、Surrogates等问题,补充一些Unicode资料,顺带介绍一下我最近编写的一个Unicode工具:UniToy。本文虽然是前文的补充,但在写作上尽量做到独立成篇。
今天中午,我突然想搞清楚 Unicode 和 UTF-8 之间的关系,就开始查资料。
这个问题比我想象的复杂,午饭后一直看到晚上9点,才算初步搞清楚。
下面就是我的笔记,主要用来整理自己的思路。我尽量写得通俗易懂,希望能对其他朋友有用。毕竟,字符编码是计算机技术的基石,想要熟练使用计算机,就必须懂得一点字符编码的知识。
前言:
中文编码问题一直是程序员头疼的问题,而Python2中的字符编码足矣令新手抓狂。本文将尽量用通俗的语言带大家彻底的了解字符编码以及Python2和3中的各种编码问题。
作者:Uncle_Drew
出处:博客园
今天让我们一起彻底揭开py编码的真相,包括py2和py3。有同学可能问:以后py3是大势所趋,还有必要了解py2那令人头疼的编码吗?答案是太有必要啦。py2在生产中还是中流砥柱。
Python常用字符编码 & Python常见字符编码间的转换
前言:
学习Python,字符编码间的转换是绕不过去的一只拦路虎,不把编码彻底搞明白,总有一天它会猝不及防坑你一把。
Python2.x和Python3.x在字符编码的设置上也有很大区别(Python3未来将是主流,所以Python3为主),今天我们就来一起学习下。
作者:Lavi_qq_2910138025
出处:CSDN
前言
在使用python处理字符串和文件时,如果包含有中文,总是会遇到各种问题,虽然每次都通过查询资料解决了,但是并不是很明白,今天决定系统研究一下。在这里把研究的结果分享出来,也希望大家进行指导。
在Python2.x中, 编码问题一直让人很头疼, 从网上查阅和自己的实验得出一些自己理解的东西,记录一下,方便日后查阅.
因为Python的出现比Unicode出现要早, 所以Python解释器默认编码为ASCII码.
了解Python2的编码问题仅用于学习, 了解编码的过程. 但是主要学习还是Python3
作者:不明
出处:廖雪峰的官方网站
其他有关python 的字符编码和中文处理等
python字符编码错误 UnicodeEncodeError: 'gbk' codec can't encode character '\xxx'
UnicodeEncodeError: 'gbk' codec can't encode character '\ufffd'等类似问题