UTF-8

转载 2006年06月25日 11:17:00

这几天研究UTF-8编码,太晕了,把我的看法和各位讨论讨论。
欢迎来批啊。以下都是我的想法,哪里有不对的请不吝赐教,帮忙指出来。
==========================================================
相关的题外话:
一、操作系统
window系统内部都是unicode的。文件夹名,文件名等都是unicode的,任何语言系统下都能正常显示。
二、输入法:
微软拼音输出的是Unicode的,智能ABC输出是简体中文的(所以智能ABC在非简体中文系统根本不能用,只能打英文)。
三、网页的textarea
网页的textarea是用unicode显示的。所以往里打什么字都能显示。而一些flash做的输入框就不行了。
四、Access2000
access里面保存的数据是unicode的,在任何语言系统下都能显示。
如果数据视图查看有些字符不正常,那是因为显示所用的字体不是Unicode字体,
换用Arial Unicode MS 字体就能全部显示了。(access帮助,搜索,输入unicode,有说明)
五、Word
word里的繁简转换,简体转换到繁体后,内码仍是简体中文的,其实只是简体中的繁体字。
六、ASP内部是Unicode的,所有文本都是Unicode存储的。需要时转换到指定字符集。
=======================================================
首先说下结论:
<%@ codepage=936%>简体中文
<%@ codepage=950%>繁体中文
<%@ codepage=65001%>UTF-8

codepage指定了IIS按什么编码读取传递过来的串串(表单提交,地址栏传递等)。
也指定了所有文本变量从Unicode转换到的编码,
也就指定了从数据库取出的数据从Unicode转换到的编码。(注意这个,很重要。)

关键字:
读取:一个串串,按简体读取是一些字,按繁体读取是一些字,串串本身编码没有变。
转换:系统主动的转换,比如从Unicode的“化”字到Big5的“化”字,内码变成Big5的。如果Big5没有对应的字,保留Unicode形式(&#xxxx;)

简体中文:化六个结论
Unicode16进制形式:&#x5316;&#x516d;&#x4e2a;&#x7ED3;&#x8bba;
Unicode10进制形式:&#21270;&#20845;&#20010;&#32467;&#35770;

下面是我推测出来的编码转换的过程:
客户端:输入法Unicode--输入框unicode--从Unicode按charset转换到对应编码()--表单发送编码

服务器端:IIS解开表单编码--按codepage指定编码读取--转换到对应的Unicode--可以用request("")读取了--进行一些处理--以Unicode编码保存到数据库

服务器端:读取数据库的Unicode数据,转换到codepage指定编码---生成源代码--IE按charset读取显示。


下面举例说明:
例一:
假设有三个asp页面,典型的留言页面:
1.

    

write.asp 简单的输入表单,提交到add.asp。
<META http-equiv="Content-Type" content="text/html; charset=big5">
2.

    

add.asp 接收留言,保存到数据库
<%@ codepage=936%>
3.

    

read.asp 从数据库取得留言,显示。
<%@ codepage=936%> charset=GB2312 或
<%@ codepage=950%> charset=big5

大家可以猜一猜,我在write.asp里用微软拼音输入法输入“化六个讨论”。最后在read.asp里会显示什么样?
是不是晕了。让我们从头分析。

click for full size

例二:
把例一的add.asp的<%@ codepage=936%>改为<%@ codepage=950%>,又会怎么样呢?

click for full size

到这里发现了什么?
1.如果输入的文字和Charset对应的不同,一转换,就可能出现Unicode形式的字了。这里就是原因所在。以后整个过程都保留着。
2.Add.asp里codepage决定了保存到数据库的文字,用的是哪个语言对应的Unicode.如codepage=936,
那么数据库保存的就是简体中文的Unicode(数据库拿回简体中文系统,一切正常的),
codepage=950保存的就是繁体中文的Unicode.(拿回简体中文系统,就不对了)。
3.注意一下串串的变化过程:
--------------------------------------------------------------------
1)

    

输入法---Charset

    

Unicode----指定字符集的映射
2)

    

Charset----表单编码

    

串串简单编码
3)

    

表单解码

    

上步的逆过程,两步抵消了。
4)

    

串串à按codepage读取

    

串串没变,这步有可能“误会读取”
5)

    

转为对应的Unicode

    

Codepage指定字符集----Unicode映射
6)

    

中间处理,进数据库

    

无变化,直接以Unicode形式进入
7)

    

    


8)

    

按codepage读取数据库

    

Unicode----codepage指定字符集的映射
9)

    

显示,按Charset指定字符集读取

    

串串没变。
-------------------------------------------------------------------------------
以例一说明:
click for full size

例二:
click for full size

=============================================
晕了。现在来用用知识。

案例1。
简体中文系统下跑的好好的代码,放到国外空间上,数据库里乱码,原有的数据也乱码。
分析:因为大多数人平时用的都是简体中文系统,默认的codepage=936,所以平时大家不写也没有关系。
但到了国外空间问题就出来了。从数据库里的Unicode转换到英文编码去了,所以数据库原有的简体中文转换到英文后,按GB显示自然乱码。
如图,新输入的文字显示正常,但数据库里保存的是英文的Unicode的。
解决方法:全部加上<%@codepage=936即可%>。
全程只有简体中文与对应Unicode间的转换。

click for full size

案例二:
简体中文的代码和数据,想转为完全的繁体版,该怎么办?
分析:1。代码文件编码全部改为Big5的,文件本身保存编码选繁体。
2.<%@ codepage=936 %>
3.Charset=big5
4.access版本无所谓,因为access里的数据是Unicode的。
5.好了,代码可以在纯繁体系统下跑了。
6.遗留问题:原有的简体中文数据读出会有一些问号。效果同例一的950读取,big5显示。因为从简体中文的Unicode转换到繁体中文了,有些字繁体中没有,就会出问号。
7.解决:用一个临时asp页,codepage=65001,读出为简体中文的Unicode,用一个Unicode->Big5的函数,转为繁体中文,然后写回数据库,应该行了吧?
=============================================
两个案例完全是我按照理论推导出来了,未经证实。
有类似经历的欢迎批评指正。

Java生成一个UTF-8文件

//转载地址:http://stephen830.iteye.com/blog/259872 /** * 生成UTF-8文件. * 如果文件内容中没有中文内容,则生成...
  • pasken
  • pasken
  • 2015年09月30日 11:10
  • 678

java读取写入utf-8编码文件

private static void replace(File file,String searchStr,String replaceStr) { // TODO Auto-generated...
  • djun100
  • djun100
  • 2013年10月16日 11:34
  • 23513

ASCII编码与UTF-8的关系

1. ASCII码  我们知道,在计算机内部,所有的信息最终都表示为一个二进制的字符串。每一个二进制位(bit)有0和1两种状态,因此八个二进制位就可以组合出256种状态,这被称为一个字节(by...
  • toptxy
  • toptxy
  • 2014年06月10日 17:57
  • 1405

iso-8859-1和utf-8有什么不同

charset=iso-8859-1是西欧的编码,代表说明网站是采用的编码是英文; charset=gb2312代表说明网站是采用的编码是简体中文; charset=utf-8代表世界通用的语言编...
  • qq_20545159
  • qq_20545159
  • 2015年02月24日 23:47
  • 1438

【转载】utf-8与utf-8(无BOM)的区别

BOM——Byte Order Mark,就是字节序标记 在UCS 编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符,它的编码是FEFF。而FFFE在UCS中是不存在的...
  • forest_fire
  • forest_fire
  • 2016年03月21日 10:53
  • 1553

一个特殊的内码转换处理对于XML格式的UTF-8

一个特殊的内码转换处理对于XML格式的UTF-8 一般来说我们所使用的中文网站都是基于UTF-8的,只需要在录制或者是回放时设置对应的编码就行了,但是随着技术的升级,慢慢的我们发现有些内容的UTF-8...
  • liuyuzhu111
  • liuyuzhu111
  • 2015年11月12日 17:47
  • 889

ubuntu 14.04 输入过程中出现[Invalid UTF-8] 的解决

最近电脑太慢,于是安装了
  • terrychao
  • terrychao
  • 2014年09月27日 23:32
  • 4729

你真的知道你看到的UTF-8字符是什么吗?

翻译自http://www.pixelstech.net/article/1397877200-You-know-what-UTF-8-is-when-you-see-it- Source : so...
  • redakira
  • redakira
  • 2014年04月19日 18:52
  • 1018

UTF-8文件的BOM头的来由及去除方法

1. 什么是BOM头     在utf-8编码文件中BOM在文件头部,占用三个字节,用来标识该文件属于utf-8编码,现在已经有很多软件识别BOM头,但还是有些不能识别BOM头,比如PHP就不能识别...
  • esonbest1234
  • esonbest1234
  • 2016年02月24日 11:39
  • 5357

字符编码 ASCII,Unicode和UTF-8的关系

字符编码 ASCII,Unicode和UTF-8的关系
  • ppdyhappy
  • ppdyhappy
  • 2016年05月17日 13:54
  • 7236
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:UTF-8
举报原因:
原因补充:

(最多只允许输入30个字)