关于Linux系统中的local、localdef和字符集的那些事

最新推荐文章于 2024-09-10 17:55:44 发布

林格费兹罗

最新推荐文章于 2024-09-10 17:55:44 发布

阅读量4.1k

点赞数 4

分类专栏： Linux 文章标签： linux centos 服务器

原文链接：https://www.cnblogs.com/wn1m/p/10837609.html

版权

Linux 专栏收录该内容

15 篇文章 0 订阅

订阅专栏

今天遇到一条命令：

localedef -c -f UTF-8 -i zh_CN zh_CN.UTF-8

懵了……一起没遇到过啊。于是查了一下，由于这里涉及到了系统的字符集设置问题，所以搞懂字符集和语言环境设置是前提。

于是找到一篇文章，正好可以解决了我的疑惑。为防以后找不到，特搬运到此。
原文链接：https://www.cnblogs.com/wn1m/p/10837609.html

以下是全文：
参考: https://www.cnblogs.com/dolphi/p/3622420.html
　 http://www.360doc.com/content/15/1105/08/14513665_510854234.shtml

以下内容中为了保障文章整体看上去可以由浅入深的全面说明问题，我摘录了上面这个博主的两篇文章中的原文,
仅是为了完整说明问题. 360doc这篇文章也给我很多启发. 对这些做一个总体总结,说明如下.

到底什么是locale？

locale这个单词中文翻译成地区或者地域，其实这个单词包含的意义要宽泛很多。Locale是根据计算机用户所使用的语言，所在国家或者地区，以及当地的文化传统所定义的一个软件运行时的语言环境。

[oracle@game ~]$ locale

LANG=en_US.UTF-8
LC_CTYPE="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_PAPER="en_US.UTF-8"
LC_NAME="en_US.UTF-8"
LC_ADDRESS="en_US.UTF-8"
LC_TELEPHONE="en_US.UTF-8"
LC_MEASUREMENT="en_US.UTF-8"
LC_IDENTIFICATION="en_US.UTF-8"
LC_ALL=en_US.UTF-8

locale把按照所涉及到的文化传统的各个方面分成12个大类，这12个大类分别是：

语言符号及其分类(LC_CTYPE)
数字(LC_NUMERIC)
比较和排序习惯(LC_COLLATE)
时间显示格式(LC_TIME)
货币单位(LC_MONETARY)
信息主要是提示信息,错误信息,状态信息,标题,标签,按钮和菜单等(LC_MESSAGES)
姓名书写方式(LC_NAME)
地址书写方式(LC_ADDRESS)
电话号码书写方式(LC_TELEPHONE)
度量衡表达方式(LC_MEASUREMENT)
默认纸张尺寸大小(LC_PAPER)
对locale自身包含信息的概述(LC_IDENTIFICATION)。

所以说，locale就是某一个地域内的人们的语言习惯和文化传统和生活习惯。一个地区的locale就是根据这几大类的习惯定义的，这些locale定义文件放在：/usr/share/i18n/locales 目录下面，例如en_US, zh_CN and de_DE@euro都是locale的定义文件，这些文件都是用文本格式书写的，你可以用写字板打开，看看里边的内容，当然出了有限的注释以外，大部分东西可能你都看不懂，因为是用的Unicode的字符索引方式。

什么是字符集？

字符集就是字符，尤其是非英语字符在系统内的编码方式，也就是通常所说的内码，所有的字符集都放在 /usr/share/i18n/charmaps，所有的字符集也都是用Unicode编号索引的。
Unicode用统一的编号来索引目前已知的全部的符号。而字符集则是这些符号的编码方式，或者说是在网络传输，计算机内部通信的时候，对于不同字符的表达方式。
Unicode是一个静态的概念，字符集是一个动态的概念，是每一个字符传递或传输的具体形式。就像 Unicode编号U59D0是代表姐姐的“姐”字，但是具体的这个字是用两个字节表示，三个字节，还是四个字节表示，是字符集的问题。
例如：UTF-8字符集就是目前流行的对字符的编码方式，UTF-8用一个字节表示常用的拉丁字母，用两个字节表示常用的符号，包括常用的中文字符，用三个表示不常用的字符，用四个字节表示其他的古灵精怪的字符。而GB2312字符集就是用两个字节表示所有的字符。
需要提到一点的是，Unicode除了用编号索引全部字符以外，本身是用四个字节存储全部字符，这一点在谈到挂载windows分区的时候是非常重要的一个概念。所以说你也可以把Unicode看作是一种字符集（我不知道它和UTF-32的关系，反正UTF-32就是用四个字节表示所有的字符的），但是这样表述符号是非常浪费资源的，因为在计算机世界绝大部分时候用到的是一个字节就可以搞定的 26个字母而已。所以才会有UTF-8，UTF-16等等，要不然大同世界多好，省了这许多麻烦。

zh_CN.GB2312到底是在说什么？

Locale是软件在运行时的语言环境, 它包括语言(Language), 地域 (Territory) 和字符集(Codeset)。
一个locale的书写格式为:
语言[_地域[.字符集]]。
所以说呢，locale总是和一定的字符集相联系的。下面举几个例子：

我说中文，身处中华人民共和国，使用国标2312字符集来表达字符。zh_CN.GB2312＝中文_中华人民共和国＋国标2312字符集。
我说中文，身处中华人民共和国，使用国标18030字符集来表达字符。zh_CN.GB18030＝中文_中华人民共和国＋国标18030字符集。
我说英文，身处大不列颠，使用ISO-8859-1字符集来表达字符。en_GB.ISO-8859-1=英文_大不列颠.ISO-8859-1字符集。
我说德语，身处德国，使用UTF-8字符集，习惯了欧洲风格。de_DE.UTF-8@euro＝德语_德国.UTF-8字符集@按照欧洲习惯加以修正。
注意： 不是de_DE@euro.UTF-8，所以完全的locale表达方式是 [语言[_地域][.字符集] [@修正值]。

其中，与中文输入关系最密切的就是LC_CTYPE，LC_CTYPE规定了系统内有效的字符以及这些字符的分类，诸如什么是大写字母，小写字母，大小写转换，标点符号、可打印字符和其他的字符属性等方面。
而locale定义zh_CN中，最最重要的一项就是定义了汉字(Class“hanzi”)这一个大类，当然也是用Unicode描述的，这就让中文字符在Linux系统中成为合法的有效字符，而且不论它们是用什么字符集编码的。

根据以上说明,可这样来理解
查看zh_CN的locale定义:

less   /usr/share/i18n/locales/zh_CN 　　#在此文件中就可看到"hanzi"的定义. 这个文件其实就相当于locale的定义的源代码。
zcat   /usr/share/i18n/charmaps/UTF-8.gz | less　 #而此文件是具有UTF-8这种字符集的定义源代码.

但是系统不可能将所有的locale和字符集都集成到系统中,况且我们平时能使用到的字符集也是非常有限的几个，所以默认字符集是在安装系统是设置好的.若需要修改默认字符集,我们就需要重新编译上面提到的源代码,来生成新的locale。
系统中默认提供了一些预先编译好的locale:
　　locale -a | grep zh_CN
可看到系统预先编译的locale，这些是可以直接使用的. 如:
export LANG=zh_CN.utf8

设定locale的规则如下:
设定locale就是设定12大类的locale分类属性，即12个LC_*。除了这12个变量可以设定以外，为了简便起见，还有两个变量：LC_ALL和LANG。它们之间有一个优先级的关系：LC_ALL > LC_* >LANG。
可以这么说，LC_ALL是最上级设定或者强制设定，而LANG是默认设定值。

如果你设定了LC_ALL＝zh_CN.UTF-8，那么不管LC_*和LANG设定成什么值，它们都会被强制服从LC_ALL的设定，成为 zh_CN.UTF-8。
假如你设定了LANG＝zh_CN.UTF-8，而其他的LC_*=en_US.UTF-8，并且没有设定LC_ALL的话，那么系统的locale设定以LC_*=en_US.UTF-8。
假如你设定了LANG＝zh_CN.UTF-8，而其他的LC_*，和LC_ALL均未设定的话，系统会将LC_*设定成默认值，也就是LANG的值zh_CN.UTF-8。
假如你设定了LANG＝zh_CN.UTF-8，而其他的LC_CTYPE=en_US.UTF-8，其他的LC_*，和LC_ALL均未设定的话，那么系统的locale设定将是：LC_CTYPE=en_US.UTF-8，其余的 LC_COLLATE，LC_MESSAGES等等均会采用默认值，也就是 LANG的值，也就是：
LC_COLLATE＝LC_MESSAGES＝……＝ LC_PAPER＝LANG＝zh_CN.UTF-8。

所以，locale是这样设定的：

如果你需要一个纯中文的系统的话，设定：
LC_ALL=zh_CN.XXXX，或者：
LANG=zh_CN.XXXX，都可以。当然你可以两个都设定，但正如上面所讲，LC_ALL的值将覆盖所有其他的locale设定，不要作无用功。
如果你只想要一个可以输入中文的环境，而保持菜单、标题，系统信息等等为英文界面，那么只需要设定：
LC_CTYPE＝zh_CN.XXXX，
LANG=en_US.XXXX
就可以了，这样：
LC_CTYPE＝zh_CN.XXXX，而
LC_COLLATE＝LC_MESSAGES＝……＝ LC_PAPER＝LANG＝en_US.XXXX。
假如你高兴的话，可以把12个LC_*一一设定成你需要的值，打造一个古灵精怪的系统：
LC_CTYPE＝zh_CN.GBK/GBK(使用中文编码内码GBK字符集)；
LC_NUMERIC=en_GB.ISO-8859-1(使用大不列颠的数字系统)
LC_MEASUREMEN=de_DE@euro.ISO-8859-15(德国的度量衡使用ISO-8859-15字符集)
罗马的地址书写方式，美国的纸张设定……。估计没人这么干吧。
假如你什么也不做的话，也就是LC_ALL，LANG和LC_*均不指定特定值的话，系统将采用POSIX作为lcoale，也就是C locale。

知道了locale的设置规则,那么如何为一个用户专门指定一个字符集？

当执行下面命令时,我们实际是创建了一个myzh.UTF8的locale

localedef -f UTF-8 -i zh_CN myzh.UTF8

此locale的含义是: 让zh_CN这个 “locale类” 默认使用myzh.UTF8这个locale字符集.而locale myzh.UTF8 使用的字符集是UTF-8。

localedef实际就是读取了 /usr/share/i18n/locales/zh_CN 和 /usr/share/i18n/charmaps/UTF-8.gz，并对其做编译生成myzh.UTF8的locale。
但需要注意,系统对locale的名字是不区分大小写的, 编译生成的信息会存储到 /usr/lib/locale/locale-archive 此文件中。它是一个二进制文件。若要查看:

　hexdump -C   /usr/lib/local/locale-archive  | grep  myzh

但实际上,UTF-8这个字符集具体支不支持中文,我不能确定,我在RHEL7.0上测试,似乎不支持。所以，可这样测试:

　　localedef  -f  GB2312   -i  zh_CN    myzh.GB2312
　　locale -a |grep myzh 　　 #此命令可查看locale-archive中的locale.

其实上面的操作仅是让系统帮你创建了locale，这个locale实际上它所依赖的locale文件系统并不会自动创建.locale文件就是上面提到的12个变量值. 在locale中,它们实际是以文件的形式存在的,并且这些文件都是编译好的数据文件,无法直接查看。

如何让系统生成这些数据文件那？

mkdir   $HOME/.locale
 　　 #假如我们创建一个叫.locale的目录.用来存储专用的locale。
cd $HOME/.locale
localedef  -f  GB2312   -i   zh_CN    $PWD/myzh.GB2312
	　#这样就在 $HOME/.locale创建了一个myzh.GB2312的目录,此目录下存储的就是上面说的12个变量值的数据文件。

在这里插入图片描述

看上去,好像很清楚系统的字符集了，但事实上,这不是全部。
系统使用locale时,它根据 $LANG 的值,来确定当前系统的语言是什么.
假如 LANG=myzh.GB2312，但其他LC_* 的值都为空, 则这些值将使用 LANG 的值.
但是,系统并不能使用：$HOME/.locale/myzh.GB2312 此目录中的12个参数值。
我们还需要设置：

LOCPATH="\$HOME/.locale:$LOCPATH"
ln -s    $HOME/.locale/myzh.GB2312    $HOME/.locale/myzh.gb2312

因为系统查找这12个变量值的数据文件时,使用的是小写，所以要么你创建时,就写为小写,否则就需要做软连接。

　　yum install strace
　　strace -eopen ls xx　　 #可查看系统调用字符集文件时,访问的路径.

通过 strace 命令,你会发现,创建myzh.GB2312中还是有很多文件找不到,这是怎么回事？
其实 localedef 帮我们创建的 locale 是依据zh_CN这locale类来创建的,可认为myzh.GB2312是zh_CN locale类的子实例。但是由于创建zh_CN的子实例时,没有安照标准的命名格式 zh_CN.GB2312，即：父locale名.字符集，而是随便写了一个 myzh.GB2312，那么系统就以为，这个locale实例是myzh这个父locale的子实例。
因为系统按照 /usr/share/i18n/locales/zh_CN 和/usr/share/i18n/charmaps/GB2312.gz来编译生成myzh.GB2312 locale时，并不会将父myzh中的所有字体相关文件都创建，放到myzh.GB2312中的。
系统在使用到这些相同的文件时，发现myzh.GB2312这个实例中没有,就自动到myzh中去查找，但我并没有myzh这父locale，只有zh_CN这个父locale, 因此还需要创建一个软连接将myzh 和 zh_CN关联起来，如:
在这里插入图片描述
终于，系统在查找字体相同文件时,可以正确找到相关文件了.
接着使用 export LANG=myzh.GB2312 时,一切都正常了。

系统可以正常显示中文报错信息了。