字符集

一、什么是字符集？

实质就是按照一定的字符编码方案，对一组特定的符号，分别赋予不同数值编码的集合。Oracle数据库最早支持的编码方案是US7ASCII。

    Oracle的字符集命名遵循以下命名规则:

    即: <语言><比特位数><编码>

    比如: ZHS16GBK表示采用GBK编码格式、16位（两个字节）简体中文字符集

字符集是为了方便将计算机语言与人类常用语言进行转换的一种集合。字符集可以理解为一张表，表中包含两个列，分别是字符和对应的 ASCII 码值。

字符集

    (1)用来存储CHAR, VARCHAR2, CLOB, LONG等类型数据

    (2)用来标示诸如表名、列名以及PL/SQL变量等

    (3)用来存储SQL和PL/SQL程序单元等

国家/地区字符集：

    (1)用以存储NCHAR, NVARCHAR2, NCLOB等类型数据

    (2)国家字符集实质上是为oracle选择的附加字符集，主要作用是为了增强oracle的字符处理能力，因为NCHAR数据类型可以提供对亚洲使用定长多字节编码的支持，而数据库字符集则不能。国家字符集在oracle9i中进行了重新定义，只能在unicode编码中的AF16UTF16和UTF8中选择，默认值是AF16UTF16

二、字符集发挥的作用

在整个系统运行过程中，字符集在3个环节中发挥作用：

1.软件在操作系统上运作时对用户显示的影响，此时显示的字符采用操作系统定义的字符集进行显示。我们在系统I/O编程的时候经常要指定字符集，C#中的Text.Encoding=Encoding.Default实际上就是告诉编译器，文本使用系统定义的默认字符集进行编码。sqlplus也是运行在操作系统上的软件，当然要使用系统所指定的字符集对外显示内容。

2.数据向oracle服务器端传送前的通告。也就是sqlplus告诉服务器现在使用的字符集是什么。（oracle用户环境变量设置字符集的作用）

3.数据流到达服务器后，按照服务器所使用的字符集自动编译客户端的数据，然后存储进系统。（OS端字符集的内容转码为oracle自己使用的字符集后在转换为编码存储）

三、oracle、OS对应关系

1、操作系统可以和oracle服务器端字符集不相同，这样只会影响如sqlplus等客户端工具的显示，但并不会妨碍数据库的编码存储。

2、但是客户端环境变量的字符集一定要和操作系统设置的字符集相匹配！否则会因为错误的信息，造成oracle数据库存入错误的编码。这个错误在存入时不会有任何告警，并且几乎是不可逆的错误。

这里面涉及几个词汇的问题，子集、超集和严格超集

子集、超集：当一种字符集（字符集A）的编码数值包含所有另一种字符集（字符集B）的编码数值，并且两种字符集相同编码数值代表相同的字符时，则字符集A是字符集B的超级，或称字符集B是字符集A的子集。（例如：UTF8就是AL32UTF8的子集）

严格超集：是指某个超集和它的子集，编码方式严格对应。完全可以不需要转码就可以互通。

所以客户端在环境变量中设置NLS_LANG时一定要与操作系统相同，并且需要填写完整字符集名称（包括语言、地域、字符集。例如：AMERICAN_AMERICA.AL32UTF8）

四、影响字符显示的原因有多个方面

1）、os环境使用的字符集

2）、数据库使用的字符集

3）、连接sqlplus工具的设置

一、OS操作系统字符集

字段插入数据库时，oracle会通过询问操作系统使用的字符集决定需不需要转码存储，如果操作系统和数据库使用相同的编码方式，那么在插入数据过程中就不需要进行转码操作，这样能够提高数据插入的速度。同样数据读取出来时，如果操作系统不支持当前字符集，这样就会出现乱码现象。

多数情况，操作系统在安装过程中就决定使用的字符集，这样能够减少由于后期变更字符集造成的影响。

查看当前系统使用的字符集

echo $NLS_LANG

查看当前系统装载的字符集

[oracle@dbdream ~]$ locale

LANG=zh_CN.UTF-8

LC_CTYPE="zh_CN.UTF-8"

LC_NUMERIC="zh_CN.UTF-8"

LC_TIME="zh_CN.UTF-8"

LC_COLLATE="zh_CN.UTF-8"

LC_MONETARY="zh_CN.UTF-8"

LC_MESSAGES="zh_CN.UTF-8"

LC_PAPER="zh_CN.UTF-8"

LC_NAME="zh_CN.UTF-8"

LC_ADDRESS="zh_CN.UTF-8"

LC_TELEPHONE="zh_CN.UTF-8"

LC_MEASUREMENT="zh_CN.UTF-8"

LC_IDENTIFICATION="zh_CN.UTF-8"

LC_ALL=

以上表示的LANG为字符集名称和数字、时间等等使用的字符集

locale -a 查看系统能够支持的字符集（但不表示全部已经安装）

可以通过三种方式进行字符集的修改

1、通过修改当前session只临时改变当前会话的字符集

2、修改/etc/profile文件，改变再次创建的用户使用的字符集（ 当用户第一次登录时,该文件被执行一次）

3、使用root用户修改/etc/sysconfig/i18n，变更系统默认使用的字符集

1、设置当前session变量

# 常用unicode字符集

export LANG=american_america.AL32UTF8

# 常用中文字符集

export NLS_LANG="Simplified Chinese_china".ZHS16GBK

2、修改/etc/profile文件

增加 export LANG=XXX 字符集

设置生效

source /etc/profile

3、设置系统默认字符集

/etc/sysconfig/i18n可以永久修改系统使用的字符集

i18n是internationalization的缩写，意思指i和n之间有18个字母。/etc/sysconfig/i18n里面存放着系统的区域语言设置，可以使linux系统支持国际化信息显示。就是支持多种字符集的转换，避免出现乱码。同一时间i18n只能是英文和一种选定的语言，例如英文+中文、英文+德文、英文+韩文等等。

[oracle@dbdream ~]$ vi /etc/sysconfig/i18n

LANG="zh_CN.UTF-8"

SUPPORTED="en_US.UTF-8"

SYSFONT="latarcyrheb-sun16"

LANG 表明你当前系统的语言环境变量设置 ，这里是 zh_CN.UTF-8

SUPPORTED 表明系统预置了那些语言支持 ，不在项目中的语言不能正常显示

SYSFONT 定义控制台终端字体，你文本登录的时候显示的字体是 latarcyrheb-sun16

二、数据库字符集

1、数据库服务器当前使用的字符集

select * from nls_database_parameters;或

select userenv('language') from dual;其来源于props$（系统表），表示当前数据库使用的字符集。绝对不能通过update更新系统表，8i以后启动数据库字符集默认为US7ASCII（缺省值）发现问题也只记录alter日志并不影响启动。

    查询结果中NLS_CHARACTERSET表示字符集，NLS_NCHAR_CHARACTERSET表示国家字符集

2、客户端（实例）使用的字符集

select * from nls_instance_parameters;其来源于v$parameter，表示客户端字符集的设置，可能是参数文件，环境变量或者是注册表（Windows）

影响 Oracle 数据库字符集最重要的参数是NLS_LANG参数:

它的格式如下: NLS_LANG =  language_territory.charset

它有三个组成部分( 语言、地域和字符集 )，每个成分控制了NLS子集的特性。

其中:

Language ： 指定服务器消息的语言， 影响提示信息是中文还是英文

Territory ： 指定服务器的日期和数字、货币格式等（这个在金融等环境中，同样不能设置错误，否则会对货币符号等造成影响）

Charset ：  指定字符集（绝对要与OS系统对应，oracle通过这个获取输入文字通过哪种字符集进行编码的）

如:AMERICAN _ AMERICA. ZHS16GBK

从NLS_LANG的组成我们可以看出，真正影响数据库字符集的其实是第三部分。

所以两个数据库之间的字符集只要第三部分一样就可以相互导入导出数据，前面影响的只是提示信息是中文还是英文。

NLS参数查询

    Oracle提供若干NLS参数定制数据库和用户机以适应本地格式，例如有NLS_LANGUAGE,NLS_DATE_FORMAT,NLS_CALENDER等，可以通过查询以下数据字典或v$视图查看。

NLS_DATABASE_PARAMETERS :显示数据库当前NLS参数取值，包括数据库字符集取值

NLS_SESSION_PARAMETERS ：  显示由NLS_LANG 设置的参数，或经过alter session 改变后的参数值（不包括由NLS_LANG 设置的客户端字符集）

NLS_INSTANCE_PARAMETE ： 显示由参数文件init.ora 定义的参数

V$NLS_PARAMETERS ：显示数据库当前NLS参数取值

修改NLS参数

    使用下列方法可以修改NLS参数

    （1）修改实例启动时使用的初始化参数文件

    （2）修改环境变量NLS_LANG

    （3）使用ALTER SESSION语句，在oracle会话中修改

    （4）使用某些SQL函数

     NLS作用优先级别：Sql function > alter session > 环境变量或注册表> 参数文件> 数据库默认参数

通过修改.bash_profile环境变量改变当前用户的字符集

编辑 bash_profile文件进行永久设置

# vi .bash_profile

NLS_LANG="Simplified Chinese_china".ZHS16GBK

export NLS_LANG

# 使 bash_profile 设置生效

source .bash_profile

其实oracle读取操作系统使用的字符集信息，就是从环境变量中读取的。在这种情况下客户端的环境变量如果错误，oracle就会将错误的编码存入数据库，造成输入信息不正确的错误。并且还很难发现

Oracle服务器端字符集通常不建议修改

一个数据库安装时就需要考虑好字符集的选择，变更字符集会对已经存储的表造成字符编码错误，当然如果切换的字符集与原有字符集是子集与超集关系，并且是严格超集。那么多数情况不会产生编码问题。 如果需要修改字符集，通常需要导出数据库数据，重建数据库，再导入数据库数据的方式来转换，或通过ALTER DATABASE CHARACTER SET语句修改字符集，但创建数据库后修改字符集是有限制的，只有新的字符集是当前字符集的超集时才能修改数据库字符集，例如UTF8是US7ASCII的超集，修改数据库字符集可使用ALTER DATABASE CHARACTER SET UTF8。

导入/导出与字符集转换

EXP/IMP

由于使用exp/imp进行数据迁移时，数据从源数据库到目标数据库的过程中有四个环节涉及到字符集，如果这四个环节的字符集不一致，将会发生字符集转换。

四个字符集是

（1）源数据库字符集

（2）Export过程中用户会话字符集（通过NLS_LANG设定）

（3）Import过程中用户会话字符集（通过NLS_LANG设定）

（4）目标数据库字符集

导入导出对应关系

EXP

     ____________ _________________ _____________

     |imp导入文件|<-|环境变量NLS_LANG|<-|数据库字符集|

      ------------   -----------------   -------------

IMP

     ____________ _________________ _____________

     |imp导入文件|->|环境变量NLS_LANG|->|数据库字符集|

      ------------   -----------------   -------------

导出的转换过程

在Export过程中，如果源数据库字符集与Export用户会话字符集不一致，会发生字符集转换，并在导出文件的头部几个字节中存储Export用户会话字符集的ID号。在这个转换过程中可能发生数据的丢失。

例:如果源数据库使用ZHS16GBK，而Export用户会话字符集使用US7ASCII，由于ZHS16GBK是16位字符集,而US7ASCII是7位字符集，这个转换过程中，中文字符在US7ASCII中不能够找到对等的字符，所以所有中文字符都会丢失而变成“?? ”形式，这样转换后生成的Dmp文件已经发生了数据丢失，导入目标库后也不能够还原。

因此如果想正确导出源数据库数据，则Export过程中用户会话字符集应等于源数据库字符集或是源数据库字符集的超集

导入的转换过程

（1）确定导出数据库字符集环境

通过读取导出文件头，可以获得导出文件的字符集设置

（2）确定导入session的字符集，即导入Session使用的NLS_LANG环境变量

IMP读取导出文件

（1）读取导出文件字符集ID，和导入进程的NLS_LANG进行比较

（2）如果导出文件字符集和导入Session字符集相同，那么在这一步骤内就不需要转换，如果不同，就需要把数据转换为导入Session使用的字符集。可以看出，导入数据到数据库过程中发生两次字符集转换

第一次:导入文件字符集与导入Session使用的字符集之间的转换，如果这个转换过程不能正确完成，Import向目标数据库的导入过程也就不能完成。

第二次:导入Session当前字符集与数据库字符集之间的转换，如果当前会话与数据库字符集相同或者严格超集则不需要进行转换，直接将编码存入数据库（与客户端和服务器端插入数据相同）

oracle提供了字符集扫描工具（character set scanner）可以在导出前对需要导出数据进行测试，选择最佳的解决方案

尝试字符集AL32UTF8修改为ZHS16GBK即从超集到子集

在SQL Puls中的命令如下：

SQL> conn /as sysdba

已连接。

1.关闭数据库

SQL> shutdown immediate;

数据库已关闭。

已经卸载数据库。

2.启动到Mount

SQL> startup mount

ORACLE 例程已经启动。

……     ………………

…………………………

数据库装载完毕。

SQL> ALTER SYSTEM ENABLE RESTRICTEDSESSION;

系统已更改。

SQL> ALTER SYSTEM SETJOB_QUEUE_PROCESSES=0;

系统已更改。

SQL> ALTER SYSTEM SETAQ_TM_PROCESSES=0;

系统已更改。

SQL> alter database open;

数据库已更改。

SQL> ALTER DATABASE CHARACTER SET ZHS16GBK;

第 1 行出现错误：

ORA-12712: new character set must be a superset of old characterset

提示我们的字符集：新字符集必须为旧字符集的超集，这时我们可以跳过超集的检查做更改：

SQL> ALTER DATABASE character set INTERNAL_USEZHS16GBK;

数据库已更改。

-- 我们看到这个过程和之前 ALTERDATABASE CHARACTER SET 操作的内部过程是完全相同的，也就是说 INTERNAL_USE 提供的帮助就是使 Oracle 数据库绕过了子集与超集的校验 。（这种方法不能保证数据完全可以转码，可能会出现乱码）

因为通过ALTER DATABASE CHARACTER SET语句修改字符集，但创建数据库后修改字符集是有限制的，只有新的字符集是当前字符集的超集时才能修改数据库字符集。

SQL> select * from v$nls_parameters;

RARAMETER

VALUE

NAS_LANGUAGE

SIMPLIFIED CHINESE

NLS_TERRITORY

CHINA

……

SQL> shutdown immediate;

SQL> startup

ORA-01081:???????ORACLE-??????? 意思是无法启动已运行的 ORACLE ，请首先关闭它

至此，字符集的修改就完成了，我们可以通过输入命令验证一下，其结果已经变成了 ZHS16GBK 了，见下图。

SQL> select userenv(‘language’) fromdual;

如何查询dmp文件的字符集

用oracle的exp工具导出的dmp文件也包含了字符集信息，dmp文件的第2和第3个字节记录了dmp文件的字符集。如果dmp文件不大，比如只有几M或几十M，可以用UltraEdit打开(16进制方式)，看第2第3个字节的内容，如0354，然后用以下SQL查出它对应的字符集:

SQL> select nls_charset_name(to_number('0354','xxxx')) from dual;

ZHS16GBK

如果dmp文件很大，比如有2G以上(这也是最常见的情况)，用文本编辑器打开很慢或者完全打不开，可以用以下命令(在unix主机上):

cat exp.dmp |od -x|head -1|awk '{print $2 $3}'|cut -c 3-6

然后用上述SQL也可以得到它对应的字符集。

三、连接sqlplus工具的设置

这种问题，很大几率是发生在系统、数据库都没有错误，但读取表内容时出现乱码现象

例如CRT、Xmanager等设置时，需要在会话环境里面设置语言或者编码类型

例如：CRT设置

查询表内容编码使用的字符集

SQL> select tab,name,dump(name,1016) from scott.test;

TAB NAME

---------- ----------

DUMP(NAME,1016)

--------------------------------------------------------------------------------

30 大辰

Typ=1 Len=6 CharacterSet=AL32UTF8: e5,a4,a7,e8,be,b0

加入dump表示，将name列的编码显示出来。默认为2进制可以输入02、08、、10、16进行进制转换显示

进制前面加入的10表示显示数据库存储数据时使用的字符集