ANSI编码与代码页

本文详细解释了ANSI编码的历史、各国地区独立字符编码的统称,以及代码页的作用,特别关注了Windows系统中ANSI代码页的设置和字符显示规则。
摘要由CSDN通过智能技术生成

系统的ANSI编码与代码页

一、ANSI编码

1. 

如前所述,在全世界所有国家和地区的文字符号统一编码的UCS/Unicode编码方案问世之前(UCS、Unicode后文有详细介绍),各个国家、地区为了用计算机记录并显示自己的字符,都在ASCII编码方案的基础上,设计了各自的编码方案。

比如欧洲先后设计了EASCII和ISO/IEC 8859系列字符编码方案;为了显示中文及相关字符,中国大陆地区设计了GB系列编码(“GB”为“国标”的汉语拼音首字母缩写,即“国家标准”之意)。

同样,日文、韩文以及其他世界各个国家和地区的文字都有它们各自的编码。所有这些各个国家和地区所独立制定的既兼容ASCII又互相之间不兼容的字符编码(准确地来说应该是既兼容ASCII又互相之间不完全兼容,因为这里所说的“不兼容”实际上指的是从整体中除开兼容ASCII之外的部分,下同,不再赘述),微软统称为ANSI编码。

所以,即使知道是ANSI编码,也还需要进一步知道具体是哪一个国家或地区的编码才能正确解码;而且,同一份文本,只能采用一种ANSI编码方案来编码,比如,无法用同一种ANSI编码来表示既有汉字、又有韩文的文本。

2.

实际上,ANSI的字面意思并非某个字符编码方案,而是美国的一个非营利组织——美国国家标准学会(American National Standards Institute)的缩写。

ANSI这个组织做了很多标准的制定工作,包括前面介绍过的字符编码标准ASCII、C语言标准ANSI C,还有与各国和地区既兼容ASCII又互相不兼容的字符编码方案相对应的“代码页(Code Page)”标准。(具体什么是代码页,以及代码页与ANSI编码之间的关系,详见下文第二节的介绍)

比如ANSI规定简体中文GB编码的代码页是936,所以GB编码又叫做ANSI Code Page 936(ANSI标准的代码页936)。

各国和地区既兼容ASCII又互相不兼容的字符编码之所以被微软统称为ANSI编码的原因即在于此。

后来,或许是出于沿用统一的称呼之目的,有些在当时还并未被ANSI定为标准的代码页,也被微软称之为ANSI代码页(即ANSI Code Page,简称ACP),比如CP943代码页。

在微软Windows系统的编码处理中,ANSI编码一般代表系统默认的编码方式,而且并不是确定的某一种编码方式:

在简体中文操作系统中ANSI编码默认指的是GB系列编码(GB2312、GBK、GB18030);在繁体中文操作系统中ANSI编码默认指的是Big5编码(港澳台地区使用的繁体汉字编码);

在日文操作系统中ANSI编码默认指的是Shift JIS编码,等等。

具体可在系统区域设置的系统Locale中查看、更改。

二、代码页(Code Page)

注:有关代码页的内容,网上资料较少,因此下面有关代码页的内容无法通过对多方资料来源的比对甄别以去芜存菁,错漏可能在所难免,还望多多指正。

1.

代码页的英文为Code Page,往往简称为CP。代码页也称为“内码表”,是计算机中与特定字符集(准确地说是字符集的某个字符编码方式CEF)相对应的一张字符编码对照表(这里的字符编码实际上指的是字符编码模式CES,因此实际为“码元序列-字节序列”对照表,或者说是“字符编码方式CEF-字符编码模式CES”对照表,也可以简单地称之为“字符-字节序列”对照表,详见后文)。

最初,IBM用代码页来称呼其计算机BIOS所支持的字符编码。当时通用的操作系统都是命令行界面的,这些操作系统直接使用BIOS提供的字符绘制功能来显示字符(或者是一组嵌入在显卡字符生成器中的字形)。这些BIOS代码页也被称为OEM代码页。

随着图形用户界面操作系统的广泛使用(最初被广为接受的图形用户界面操作系统是Windows 3.1),操作系统本身具有了字符绘制的功能。

微软于是在Windows操作系统还没有转向UTF-16(UTF-16的推出要早于现在被广为认可的UTF-8)作为编码实现之前(即Windows2000发布之前),基于ANSI组织的代码页标准,定义了一系列支持世界各国和地区独立的字符编码(微软称之为ANSI编码)的代码页,因而被称作“ANSI代码页”。

代表性的是实现了ISO 8859-1(即Latin-1)的代码页1252(即CP1252),以及实现了GBK的代码页936(即CP936)。

现代操作系统中,不同的国家或地区,使用不同的语言和区域设置,可能对应不同的代码页。

2.

除了上面提到的较为常见的ANSI代码页(即微软所采用的代码页标准),以及IBM代码页,其他有些商业巨头也制定有自己的代码页,比如Oracle代码页、SAP代码页。

还有由多家公司联合制定的代码页,比如EUC代码页。

EUC为Extended Unix Code的缩写,是由多家类Unix系统(即*nix系统)开发商,针对类Unix系统而联合制定的代码页,使用8位编码(即采用8位单字节码元)来表示字符,于1991年标准化。

EUC现在主要用于Unix、Mac及Linux等类Unix系统中表示及储存汉语、日语及朝鲜语文字,其中的EUC-CN代码页代表GBK编码。

后来代码页进一步扩展,除了原先针对ANSI编码所定义的ANSI代码页,针对Unicode字符集的各UTF编码方式(UTF-8、UTF-16、UTF-32等),各个组织和厂商往往也定义了相应的代码页。

另外,不同的组织或厂商,对于同一种编码方式往往使用各自不同的代码页名称(一般都以数字来进行命名区分)。

例如,UTF-8在IBM称作代码页1208(即CP1208),在微软称作代码页65001(即CP65001),在SAP称作代码页4110(即CP4110);Windows使用936代码页(CP936)、Mac系统使用EUC-CN代码页来表示GBK编码(EUC-CN在类Unix系统中相当于GBK编码方案的别名,等同于Windows下的CP936代码页)。

(附:微软公司定义的代码页一览表:Code Page Identifiers - Windows applications)

3.

需要注意的是,在实践中,代码页一般与其所直接对应的字符集之间并非完全等同,各个厂商往往因为种种原因(比如标准跟不上现实实践的需要)而会对字符集有所扩展。

例如,微软所采用的对应于ISO 8859-1字符集(即Latin-1字符集)的ANSI代码页1252(即CP1252),就对Latin-1字符集进行了扩展,其中编码128~159也被定义了字符,这是与Latin-1字符集不同之处,用于表示英语和大多数欧洲语言(西班牙语和各种日耳曼/斯堪的纳维亚语)。

另外,IBM所采用的对应于Shift JIS日文字符集的OEM代码页932(即CP932),也对Shift JIS进行了扩展;而对应于Shift JIS字符集的微软ANSI代码页943(即CP943),也同样对Shift JIS进行了扩展。

4.

代码页可以体现为从字符映射到单字节值或多字节值的一张表格。

注意,针对ANSI编码而言,虽然其属于传统字符编码模型,但从现代字符编码模型的角度来看,这里所提到的单字节值与多字节值指的是特定于系统平台的物理意义上的字节序列,不是指与系统平台无关的逻辑意义上的码元序列(虽然对属于传统字符编码模型的早期字符编码方案来说,字符的码元序列与字节序列其实是一样的)。

而针对属于现代字符编码模型的Unicode字符集的各UTF编码方式而言,则更是同样如此。比如针对UTF-16所定义的代码页,其存储的是针对UTF-16这种字符编码方式CEF的某种字符编码模式CES(即字节序列层面上的大端序或小端序之一,大端序、小端序的概念后文有详细介绍)。

正因为这样,代码页也被称之内码表。

也就是说,代码页是字符集在计算机中的具体编码实现;特别是从现代字符编码模型的角度来说,代码页可认为是字符集的某种字符编码方式CEF的具体字符编码模式CES在计算机中的具体实现,可以将其理解为一张“字符-字节”(或更准确地理解为“字符-字节序列”)映射表,计算机通过查表实现“字符-字节”之间的双向“翻译”。

代码页主要用于具体实现各编码方案中的字符在计算机系统中的物理存储和显示。当计算机读取了一个二进制字节,那这个字节到底属于哪个字符,就需要到存储在计算机中的某个代码页中查找,这个查找的过程就被称为查表。

比如,当用户使用输入码(即外码)输入汉字时,输入法软件需要将输入码(出现重码时另加选择编号)根据代码页转换为机内码(即查表)进行存储,以及再根据机内码和相应的字体设定到对应的字体文件中查找字形码进行显示。

5.

在Windows中,代码页是系统默认设置的(即默认系统区域设置),也可在(Windows7的)“控制面板-区域和语言-管理-非Unicode程序的语言-更改系统区域设置”中选择列表中的语言进行更改。

注意,系统区域设置System Locale,可用于确定在不使用Unicode编码的程序(即非Unicode程序)中输入和显示字符的默认编码方案(显然主要是指ANSI编码方案)和字体,这样就可以让非Unicode程序在计算机上使用指定的语言(实质上是使用指定的ANSI编码)得以正常显示文字,而不会导致显示为乱码。

因此,在计算机上安装某些非Unicode程序时,如果出现乱码,则可能需要更改默认的系统区域设置。为系统区域设置选择不同的语言,并不会影响Windows系统本身或其他使用Unicode编码方案的程序(即Unicode程序)的语言显示。

但是,很显然,如果同一个操作系统中,多个非Unicode程序采用了各不相同的ANSI编码,则同一时间只有一种ANSI编码的非Unicode程序的文字显示是正常的,采用其他ANSI编码的非Unicode程序的文字显示为乱码。

而同一个非Unicode程序,是无法同时采用不同的ANSI编码的,比如同时采用中文和韩文,在非Unicode程序中是无法实现的,因为同一时间必定有其中之一是乱码的。

不过,现在Unicode编码方案已经成为了主流,因此非Unicode程序已经难得一见了。

三、微软Windows操作系统中ANSI代码页的设置

1.

微软为了适应世界上不同地区用户的文化背景和生活习惯,在Windows中设计了区域(Locale)设置的功能。

Locale是指特定于某个国家或地区的一组设定,包括代码页,以及数字、货币、时间和日期的格式等。

在Windows内部,其实有两个Locale设置:系统Locale和用户Locale。系统Locale决定代码页,用户Locale决定数字、货币、时间和日期的格式等。

可以在Windows控制面板的“区域和语言选项”中设置系统Locale(非Unicode程序的语言)和用户Locale(标准和格式)。如下图所示:

(Windows XP中的Locale设置)

(Windows 7中的Locale设置)

2.

系统Locale对应的代码页被作为Windows系统的默认代码页。

在没有明确指定某个文本所采用的编码方案(准确地说是字符编码模式CES)时,Windows系统将按照系统Locale中所指定的默认代码页(实质上代表了某个编码方案)来解码该文本数据。这个默认代码页通常被称作ANSI代码页(即ACP)。

注意,如前所述,虽然非ANSI编码的Unicode编码方案中的各个UTF编码也同样定义了代码页,但系统Locale中所设定的默认代码页之所以通常被称为ACP,是因为系统Locale主要是针对非Unicode程序而设置的。

在Windows XP的“区域和语言选项”高级页面的“代码页转换表”中,可看到各种语言(实质上是各个编码方案)的代码页(但Windows7、Windows10中已经不能直接看到了)。

例如:

·874 (ANSI/OEM -泰文)

·932 (ANSI/OEM -日文Shift-JIS)

·936 (ANSI/OEM -简体中文GBK)

·949 (ANSI/OEM -韩文)

·950 (ANSI/OEM -繁体中文Big5)

·1250 (ANSI -中欧)

·1251 (ANSI -西里尔文)

·1252 (ANSI -拉丁文)

·1253 (ANSI -希腊文)

·1254 (ANSI -土耳其文)

·1255 (ANSI -希伯来文)

·1256 (ANSI -阿拉伯文)

·1257 (ANSI -波罗的海文)

·1258 (ANSI/OEM -越南)

本文转载自:

刨根究底字符编码之七——ANSI编码与代码页 - 笨笨阿林的文章 - 知乎
https://zhuanlan.zhihu.com/p/27136737

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ANSI编码的文件在不同的操作系统中的编码格式可能会有所不同,这是因为不同的操作系统所使用的代码页(Code Page)不同。代码页是一种字符编码表,用于将字符编码为二进制数据。不同的代码页中包含的字符集和编码方式不同,因此同一份ANSI编码的文件在不同的代码页中打开时可能会出现乱码。 要解决ANSI编码的文件在不同操作系统中的编码格式不同的问题,可以考虑以下几种方法: 1. 使用跨平台的编码格式 为了避免ANSI编码的文件在不同操作系统中的编码格式不同,可以使用跨平台的编码格式,如UTF-8。UTF-8是一种可变长度的Unicode编码方式,支持所有Unicode字符集,可以在不同的操作系统中使用。 2. 在文件头部指定编码格式 在ANSI编码的文件中,可以在文件头部指定编码格式,以确保文件在不同的操作系统中打开时使用相同的编码格式。常见的文件头格式有BOM(Byte Order Mark)和XML声明。BOM是一个特殊的字符序列,用于标识文件的编码格式,XML声明则是在XML文件中用于指定编码格式的声明。 3. 明确文件的代码页 如果无法使用跨平台的编码格式或者在文件头部指定编码格式,可以明确文件的代码页,以确保文件在不同的操作系统中打开时使用相同的编码格式。在Windows系统中,可以使用“控制面板”->“时钟和区域”->“区域”->“高级”来设置默认的代码页;在Linux系统中,可以使用`setfont`命令设置代码页。 总之,在处理ANSI编码的文件时,要了解文件所在的操作系统的代码页设置,以确保文件在不同的操作系统中打开时使用相同的编码格式。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值