ANSI（ASCII字符集）和UNICODE（UTF8，UTF16 ）

最新推荐文章于 2023-12-11 13:46:48 发布
最新推荐文章于 2023-12-11 13:46:48 发布
阅读量592 收藏
点赞数
分类专栏： 计算机网络编程 
   编码指不同国家的语言在计算机中的一种存储和解释规范。

   ANSI与ASCII 
   最初，Internet上只有一种字符集——ANSI的ASCII字符集(American Standard Code for Information Interchange， “美国信息交换标准码），它使用7 bits来表示一个字符，总共表示128个字符，后来IBM公司在此基础上进行了扩展，用8bit来表示一个字符，总共可以表示256个字符，充分利用了一个字节所能表达的最大信息 
nANSI字符集：ASCII字符集，以及由此派生并兼容的字符集，如：GB2312，正式的名称为MBCS（Multi-Byte Chactacter System，多字节字符系统），通常也称为ANSI字符集。 

   UNICODE与UTF8，UTF16 
   由于每种语言都制定了自己的字符集，导致最后存在的各种字符集实在太多，在国际交流中要经常转换字符集非常不便。因此，产生了Unicode字符集，它固定使用16 bits（两个字节）来表示一个字符，共可以表示65536个字符 
n标准的Unicode称为UTF-16(UTF:UCS Transformation Format )。后来为了双字节的Unicode能够在现存的处理单字节的系统上正确传输，出现了UTF-8，使用类似MBCS的方式对Unicode进行编码。(Unicode字符集有多种编码形式) 
例如“连通”两个字的Unicode标准编码UTF-16 (big endian）为：DE 8F 1A 90 
而其UTF-8编码为：E8 BF 9E E9 80 9A 

   当一个软件打开一个文本时，它要做的第一件事是决定这个文本究竟是使用哪种字符集的哪种编码保存的。软件一般采用三种方式来决定文本的字符集和编码： 
检测文件头标识，提示用户选择，根据一定的规则猜测 
最标准的途径是检测文本最开头的几个字节，开头字节 Charset/encoding,如下表： 
EF BB BF UTF-8 
FE FF UTF-16/UCS-2, little endian 
FF FE UTF-16/UCS-2, big endian 
FF FE 00 00 UTF-32/UCS-4, little endian. 
00 00 FE FF UTF-32/UCS-4, big-endian.
maogewudi007
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
学习笔记-关于字符集ANSI
jmyzl439587的专栏
12-13 744
ANSI，即多字节字符集，它不同于Unicode的地方在与英文字符以1字节存储。标准的ASCII码表没有使用到大于127的值，而ANSI字符集则有[128, 255]的对应字符，有种物尽其用的思想。 至于不同国家的ANSI字符集使用的编码方式均遵循ANSI编码，以2字节存储。之所以不用前面所说的UTF8是因为太浪费，比如中文的字符'我'，以ANSI编码需要2字节，而UTF8需要3字节，因此就出现
超详细的字符编码教程
06-11
目录 缩略词 正文之前 1. 目的 2. 本文内容 3. 声明 1. 字符编码相关的背景知识 1.1. 拉丁字母 1.1.1. 我们的目标 1.2. 什么是字符编码 2. 字符编码标准 2.1. 只支持基本的拉丁字符的字符编码：ASCII 2.1.1. ASCII的由来 2.1.2. ASCII编码规则 2.1.2.1. ASCII字符集中的功能/控制字符 2.1.2.1.1. 什么是Function Code功能码或 Function Character功能字符 2.1.2.1.2. ASCII中的Function/Control Code功能字符的详细含义 2.1.2.1.2.1. 0 – NUL – NULl 字符/空字符 2.1.2.1.2.2. 1 – SOH – Start Of Heading 标题开始 2.1.2.1.2.3. 2 – STX，3 – ETX 2.1.2.1.2.4. 4 – EOT – End Of Transmission 传输结束 2.1.2.1.2.5. 5 – ENQ – ENQuiry 请求 2.1.2.1.2.6. 6 – ACK – ACKnowledgment 回应/响应 2.1.2.1.2.7. 7 – BEL – [audible] BELl 2.1.2.1.2.8. 8 – BS – BackSpace 退格键 2.1.2.1.2.9. 9 – HT – Horizontal Tab 水平制表符 2.1.2.1.2.10. 10 – LF – Line Feed 换行 2.1.2.1.2.11. 11 – VT – Vertical Tab 垂直制表符 2.1.2.1.2.12. 12 – FF – Form Feed 换页 2.1.2.1.2.13. 13 – CR – Carriage return 机器的滑动部分/底座 返回 -> 回车 2.1.2.1.2.14. 14 – SO，15 – SI 2.1.2.1.2.15. 16 – DLE – Data Link Escape 数据链路转义 2.1.2.1.2.16. 17 – DC1 – Device Control 1 / XON – Transmission on 2.1.2.1.2.17. 18 – DC2 – Device Control 2 2.1.2.1.2.18. 19 – DC3 – Device Control 3 / XOFF – Transmission off 传输中断 2.1.2.1.2.19. 20 – DC4 – Device Control 4 2.1.2.1.2.20. 21 – NAK – Negative AcKnowledgment 负面响应-> 无响应, 非正常响应 2.1.2.1.2.21. 22 – SYN – SYNchronous idle 2.1.2.1.2.22. 23 – ETB – End of Transmission Block 块传输中止 2.1.2.1.2.23. 24 – CAN – CANcel 取消 2.1.2.1.2.24. 25 – EM – End of Medium 已到介质末端，介质存储已满 2.1.2.1.2.25. 26 – SUB – SUBstitute character替补/替换 2.1.2.1.2.26. 27 – ESC – ESCape 逃离/取消 2.1.2.1.2.27. 28 – FS – File Separator 文件分隔符 2.1.2.1.2.28. 29 – GS – Group Separator分组符 2.1.2.1.2.29. 30 – RS – Record Separator记录分隔符 2.1.2.1.2.30. 31 – US – Unit Separator 单元分隔符 2.1.2.1.2.31. 32 – SP – White SPace 空格键 2.1.2.1.2.32. 127 – DEL – DELete 删除 2.1.2.1.3. 各种字符的标准的读法/叫法 2.1.3. ISO 646 2.2. 支持多种衍生拉丁字母的字符编码：EASCII和ISO 8859 2.2.1. EASCII 2.2.2. ISO 8859 2.2.2.1. ISO/IEC 8859出现的背景 2.2.2.2. ISO/IEC 8859的编码规则 2.2.2.3. ISO/IEC 8859的特点 2.2.2.4. ISO/IEC 6429 2.2.2.5. ISO 8859和ISO-8859的区别和联系 2.2.2.5.1. 原先的ISO 8859-1和我们常说的ISO 8859-1 2.3.
ASCII ANSI Unicode UTF-8 UTF-16 GBK解释
silenceyea的专栏
05-15 521
ANSII是8位进行表示，只可以表示英文字母，数字与符号，使用前127位，第一位规定为0,。 ANSI编码是因为非英语国家需要在计算机上显示自己的文字，比如中国的中文使用ＡＳＣＩＩ码中多余的１２８位不能表示所有的汉字，所以进行扩展，使用２个字节即１６位进行汉字编码，低１２７个表示的还是原来的ＡＳＣＩＩ码，以上的就是表示的是汉字字符，由于每一个国家都有自己的编码，所以各个系统中的字符显示需要进行转
【Encoding】ANSI,ASCII,Unicode,utf-8的区别与联系
Catullus的博客
10-23 4743
ANSI,ASCII,Unicode,utf-8的区别与联系 很久很久以前，有一群人，他们决定用8个可以开合的晶体管来组合成不同的状态，以表示世界上的万物。他们看到8个开关状态是好的，于是他们把这称为”字节”。 再后来，他们又做了一些可以处理这些字节的机器，机器开动了，可以用字节来组合出很多状态，状态开始变来变去。他们看到这样是好的，于是它们就这机器称为”计算机“。 开始计算机只在美国用。八
【字符编码】 简洁理解ANSI,UTF8,Unicode,ASCII编码的差别
bandaoyu的note
02-22 8978
1. ASCII和ANSI编码 ASCII:单字节内码 -- Single-Byte character sets (SBCS),能够支持256个字符编码. #一个字节表示表示一个字符 如 A 只需一个字节 ANSI:双字节内码 -- Double-Byte character sets)(DBCS),能够支持65000个字符编码. #两个个字节表示表示一个字符 如 你 需......
ANSI字符集和Unicode字符集
lizfs_csdn的博客
04-28 1938
在计算机中字符通常并不是保存为图像，每个字符都是使用一个编码来表示的，而每个字符究竟使用哪个编码代表，要取决于使用哪个字符集(charset)。 　 在最初的时候，Internet上只有一种字符集——ANSI的ASCII字符集，它使用7 bits来表示一个字符，总共表示128个字符，其中包括了英文字母、数字、标点符号等常用字符。之后，又进行扩展，使用8 bits表示一个字符，可以表示256个字符，主要在原来的7 bits字符集的基础上加入了一些特殊符号例如制表符。 　 后来，由于各国语言的加入，ASCII.
字符集编码ANSI和UNICODE
程序、软件、数据库等交流、开发专栏
10-09 709
编码指不同国家的语言在计算机中的一种存储和解释规范ANSI与ASCII最初，Internet上只有一种字符集——ANSI的ASCII字符集(American Standard Code for Information Interchange， “美国信息交换标准码），它使用7 bits来表示一个字符，总共表示128个字符，后来IBM公司在此基础上进行了扩展，用8bit来表示一个字符，总共可以表示2
UNICODE、UTF-8、UTF-16、ANSI的区别和联系
Allen Roson
09-06 962
unicode与utf-8、utf-16、ansi的区别和联系
详解C++中的ANSI与Unicode和UTF8三种字符编码基本原理与相互转换
smartDMer的专栏
03-01 4073
目录1、概述2、Visual Studio中的字符编码3、ANSI窄字节编码4、Unicode宽字节编码5、UTF8编码6、如何使用字符编码7、三种字符编码之间的相互转换（附源码）7.1、ANSI编码与Unicode编码之间的转换7.2、UTF8编码与Unicode编码之间的转换7.3、ANSI编码与UTF8编码之间的转换8、Windows系统对使用ANSI窄字节字符编码的程序的兼容9、字符编码导致程序启动失败的案例1、概述在日常的软件开发过程中，会时不时地去处理不同编码格式的字符串，特别是在处理文件路径的
字符编码：ANSI和ASCII区别、Unicode和UTF-8区别
xuan971130的博客
06-23 535
ANSI和ASCII区别ANSI码（American National Standards Institute）美国国家标准学会的标准码ASCII码(America Standard Code for Information Interchange）美国信息交换标准码是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统，并等同于国际标准ISO/IEC...
计算机编码与Unicode（PPT课件）
07-03
ASCII及其扩展的ANSI字符集 4. 机内码与代码页 5. 乱码及其产生原因 6. 统一编码Unicode 7. UCS编码平面结构 8. 中日韩(CJK)统一表意文字 9. Unicode存储编码——UTF 10. 字节顺序与BOM
xml实用大全和轻松学习手册和无废话xml
02-05
7.3.1 ASCII字符集 163 7.3.2 ISO字符集 164 7.3.3 MacRoman字符集 166 7.3.4 Windows ANSI字符集 167 7.4 Unicode字符集 169 7.4.1 UTF-8 171 7.4.2 通用字符系统 171 7.5 如何使用Unicode编写XML 173 7.5.1 利用...
Total Commander 9.12 1.4 增强版
12-26
•内置文件查看程序：以十六进制、二进制或文本方式查看任意大小的文件，支持ASCII或ANSI字符集，显示行宽和字体大小可调，还可以查看压缩包中的文件。新增：支持Unicode UTF-8格式的文件。 •文件查看程序：支持...
Total Commander 8.5 正式官方注册加强版
02-20
•内置文件查看程序：以十六进制、二进制或文本方式查看任意大小的文件，支持ASCII或ANSI字符集，显示行宽和字体大小可调，还可以查看压缩包中的文件。新增：支持Unicode UTF-8格式的文件。 •文件查看程序：支持...
Windows 记事本的 ANSI、Unicode、UTF-8 这三种编码模式有什么区别？
楠之枫雪的博客
07-23 1222
简答。一些细节暂无精力查证，如果说错了还请指出。一句话建议：涉及兼容性考量时，不要用记事本，用专业的文本编辑器保存为不带 BOM 的 UTF-8如果是为了跨平台兼容性，只需要知道，在 Windows 记事本的语境中：所谓的「ANSI」指的是对应当前系统 locale 的遗留（legacy）编码。[1]所谓的「Unicode」指的是带有 BOM 的小端序 UTF-16。[2]所谓的「UTF-8」指的是
ANSI是什么编码？
热门推荐
Liuqz2009的专栏
08-07 1万+
https://blog.csdn.net/imxiangzi/article/details/77370160
常见字符编码详解ANSI,UTF-8,UCS,GBK,GB2312,BIG5
老刘的博客
04-07 2835
ASCII American Standard Code for Information Interchange-美国信息交换标准代码,发表于1967年，到2007年12月，逐渐被Unicode取代。单字节字符编码，定义了128个字符 ANSI 使用多个字节来代表一个字符的各种汉字延伸编码方式，称为 ANSI 编码，通常使用 0x80~0xFF 范围的2个字节来表示1个字符。在简体中文W
字符集与字符编码（理解ASCII、ANSI、UTF-8、Unicode，解决各种乱码问题）
iamjixiaoyu的博客
03-28 4423
在当前的软件开发中经常面临跨操作系统、跨平台、跨区域、跨语言的字符乱码问题，面对多种字符集及其编码标准共存的背景下，对现存较为流行的ASCII、ANSI、UTF-8、Unicode等名词概念与方法进行纠正和梳理，有助于理解文本在计算机中的数据表示本质，帮助解决开发中遇到的多种字符乱码问题。分析了多字符集及编码共存的原因，从字符集和字符的编码两个部分分别对ASCII、ANSI、汉字GB系列、Unicode的相关内容进行了梳理，最后在Editplus文本编辑器中进行了验证。
计算机系列：字符集与字符编码（理解ASCII、ANSI、UTF-8、Unicode，解决各种乱码问题）
最新发布
weixin_54626591的博客
12-11 1210
字符集与字符编码（理解ASCII、ANSI、UTF-8、Unicode，解决各种乱码问题）
C++ utf8转ansi
03-31
UTF-8与ANSI是不同的字符编码方式，UTF-8支持全球范围内的字符，而ANSI只支持ASCII码字符集。因此，将UTF-8编码转换为ANSI编码需要进行字符集的转换。 以下是一些实现UTF-8转ANSI的示例方法： 方法一：使用Windows API函数进行编码转换 在Windows平台上，可以使用Windows API函数WideCharToMultiByte和MultiByteToWideChar进行编码转换。此方法需要包含Windows.h头文件。 ```c #include <windows.h> #include <stdio.h> int main() { // UTF-8字符串 char utf8_str[] = "你好，世界！"; // 将UTF-8字符串转换为Unicode字符串 int wide_len = MultiByteToWideChar(CP_UTF8, 0, utf8_str, -1, NULL, 0); wchar_t* wide_str = (wchar_t*)malloc(wide_len * sizeof(wchar_t)); MultiByteToWideChar(CP_UTF8, 0, utf8_str, -1, wide_str, wide_len); // 将Unicode字符串转换为ANSI字符串 int ansi_len = WideCharToMultiByte(CP_ACP, 0, wide_str, -1, NULL, 0, NULL, NULL); char* ansi_str = (char*)malloc(ansi_len * sizeof(char)); WideCharToMultiByte(CP_ACP, 0, wide_str, -1, ansi_str, ansi_len, NULL, NULL); printf("%s\n", ansi_str); free(wide_str); free(ansi_str); return 0; } ``` 方法二：使用iconv库进行编码转换 iconv是一个开源的字符集转换库，可以在多个操作系统平台上使用。该库可以使用iconv_open、iconv、iconv_close等函数进行字符集转换。此方法需要包含iconv.h头文件，并需要在编译时链接libiconv库。 ```c #include <iconv.h> #include <stdio.h> #include <stdlib.h> int main() { // UTF-8字符串 char utf8_str[] = "你好，世界！"; // 将UTF-8字符串转换为ANSI字符串 char* ansi_str = (char*)malloc(sizeof(char) * 256); char* inbuf = utf8_str; char* outbuf = ansi_str; size_t inlen = strlen(utf8_str); size_t outlen = 256; iconv_t cd = iconv_open("CP936", "UTF-8"); iconv(cd, &inbuf, &inlen, &outbuf, &outlen); iconv_close(cd); printf("%s\n", ansi_str); free(ansi_str); return 0; } ``` 以上两种方法均可以将UTF-8编码转换为ANSI编码。其中，Windows API函数方法只适用于Windows平台，而iconv库方法可以在多个平台上使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值