c语言把utf-8编码转换器,[C语言]unicode与utf-8编码转换（一）

最新推荐文章于 2024-03-10 00:20:40 发布
最新推荐文章于 2024-03-10 00:20:40 发布
阅读量687 收藏 1
点赞数
文章标签： c语言把utf-8编码转换器

Unicode与UTF-8编码转换(一)

Unicode是一个符号集合，规定了符号的二进制代码，而UTF-8是Unicode的一种实现，具体Unicode和UTF-8的联系如下所示：

Unicode符号范围                    UTF-8编码规则

1 | 0000 0000 - 0000 007F |                                              0xxxxxxx

2 | 0000 0080 - 0000 07FF |                                     110xxxxx 10xxxxxx

3 | 0000 0800 - 0000 FFFF |                            1110xxxx 10xxxxxx 10xxxxxx

4 | 0001 0000 - 0010 FFFF |                   11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

5 | 0020 0000 - 03FF FFFF |          111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

6 | 0400 0000 - 7FFF FFFF | 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

由图可清晰的知道Unicode和UTF－8间的联系。其中UTF-8编码规则中的x就是让你编码的地方。接下来逐一举例说明各段的编码：

1，范围0x00-0x7F：给定的用例Unicode码为0x41，对应的二进制位：0100 0001，而UTF-8编码规则为：0xxxxxxx。故有：

0xxx  xxxx

+    100 0001

0100 0001

所以Unicode编码0x41转换为UTF-8后为：0x41。

所以对于区间段0x00-0x7F之间的Unicode和UTF-8编码是一致的。即与ASCII码一致(ASCII共规定了128个字符的编码)

2，范围0x80-0x7FF：给定的用例Unicode码为0x123，对应的二进制为：0001 0010 0011，而UTF-8编码规则为：110xxxxx 10xxxxxx。故有：

110x xxxx 10xx  xxxx

+       0 0100     10 0011

1100 0100 1010 0011

所以Unicode编码0x123转换为UTF-8后为：0xC4A3

3，范围0x800-0xFFFF：给定的用例Unicode码为0x4E25，对应的二进制为：0100 1110 0010 0101，而UTF－8编码规则为：1110xxxx 10xxxxxx 10xxxxxx，故有：

1110 xxxx 10xx  xxxx 10xx xxxx

+          0100     11 1000    10 0101

1110 0100 1011 1000 1010 0101

所以Unicode编码为0x4E25转换为UTF－8后为：0xE4B8A5

4，范围0x10000-0x10FFFF：给定的Unicode码为0x23456，对应的二进制为：0010 0011 0100 0101 0110，而UTF-8编码规则为：111100xx 10xxxxxx 10xxxxxx 10xxxxxx。故有：

1111 00xx 10xx xxxx  10xx xxxx 10xx xxxx

＋           00     10  0011     01 0001    01 0110

1111 0000 1010 0011 1001 0001 1001 0110

所以Unicode编码为0x23456转换UTF－8后为：0xF0A39196

5，范围0x200000-0x3FFFFFF：给定的Unicode码为0x234567，对应的二进制为：0010 0011 0100 0101 0110 0111，UTF-8编码规则为：111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx。故有：

1111 10xx 10xx  xxxx 10xx xxxx  10xx xxxx 10xx xxxx

+                       00 1000    11 0100     01 0101    10 0111

1111 1000 1000 1000 1011 0100 1001 0101 1010 0111

所以Unicode编码为0x234567转换UTF－8后为：0xF888B495A7

6，范围0x4000000-0x7FFFFFFF：给定的Unicode码为0x34561234，对应的二进制为：0011 0100 0101 0110 0001 0010 0011 0100，UTF－8编码规则为：1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx。故有：

1111 110x 10xx  xxxx 10xx  xxxx 10xx xxxx  10xx xxxx  10xx xxxx

+                0    11  0100    01  0101    10 0001     00 1000     11 0100

1111 1100 1011 0100 1001 0101 1010 0001 1000 1000 1011 0100

所以Unicode编码为0x34561234转换UTF－8后为：0xFCB495A188B4

1，通过以上案例分析可得如下单字符Unicode编码转UTF-8程序为：

1)由于本系统采用大头方式(Big endian)，所以先打出来的是高位的值。

2)实现思路：移动指定的位数是该字节处于易于操作的位置或使操作完的值达到指定位置，使用与运算取得指定位上的值，使用或运算实现相加效果。

int

unicode_to_utf( unsigned long unicode, unsigned char *utf )

{

assert( utf );

int size = 0;

if ( unicode <= 0x7F )

{

*( utf + size++ ) = unicode & 0x7F;

}

else if ( unicode >= 0x80 && unicode <= 0x7FF )

{

*( utf + size++ ) = ( ( unicode >> 6 ) & 0x1F ) | 0xC0;

*( utf + size++ ) = ( unicode & 0x3F ) | 0x80;

}

else if ( unicode >= 0x800 && unicode <= 0xFFFF )

{

*( utf + size++ ) = ( ( unicode >> 12 ) & 0x0F ) | 0xE0;

*( utf + size++ ) = ( ( unicode >> 6  ) & 0x3F ) | 0x80;

*( utf + size++ ) = ( unicode & 0x3F  ) | 0x80;

}

else if ( unicode >= 0x10000 && unicode <= 0x10FFFF )

{

*( utf + size++ ) = ( (unicode >> 18 ) & 0x7  ) | 0xF0;

*( utf + size++ ) = ( (unicode >> 12 ) & 0x3F ) | 0x80;

*( utf + size++ ) = ( (unicode >> 6  ) & 0x3F ) | 0x80;

*( utf + size++ ) = ( unicode & 0x3F ) | 0x80;

}

else if ( unicode >= 0x200000 && unicode <= 0x3FFFFFF )

{

*( utf + size++ ) = ( (unicode >> 24 ) & 0x3  ) | 0xF8;

*( utf + size++ ) = ( (unicode >> 18 ) & 0x3F ) | 0x80;

*( utf + size++ ) = ( (unicode >> 12 ) & 0x3F ) | 0x80;

*( utf + size++ ) = ( (unicode >> 6  ) & 0x3F ) | 0x80;

*( utf + size++ ) = ( unicode & 0x3F ) | 0x80;

}

else if ( unicode >= 0x4000000 && unicode <= 0x7FFFFFFF )

{

*( utf + size++ ) = ( (unicode >> 30 ) & 0x1  ) | 0xFC;

*( utf + size++ ) = ( (unicode >> 24 ) & 0x3F ) | 0x80;

*( utf + size++ ) = ( (unicode >> 18 ) & 0x3F ) | 0x80;

*( utf + size++ ) = ( (unicode >> 12 ) & 0x3F ) | 0x80;

*( utf + size++ ) = ( (unicode >> 6  ) & 0x3F ) | 0x80;

*( utf + size++ ) = ( unicode & 0x3F ) | 0x80;

}

else

{

printf( "Error : unknow scope\n" );

return -1;

}

*( utf + size ) = '\0';

return size;

}

测试用例如下：

int

main( int argc, char *argv[] )

{

unsigned long unicode1 = 0x55;

unsigned char utf[7] = { 0 };

int size = unicode_to_utf( unicode1, utf );

utf_print( utf, size );

unsigned long unicode2 = 0x123;

size = unicode_to_utf( unicode2, utf );

utf_print( utf, size );

memset( utf, 0x00, sizeof( utf ) );

unsigned long unicode3 = 0x4E25;

size = unicode_to_utf( unicode3, utf );

utf_print( utf, size );

memset( utf, 0x00, sizeof( utf ) );

unsigned long unicode4 = 0x23456;

size = unicode_to_utf( unicode4, utf );

utf_print( utf, size );

memset( utf, 0x00, sizeof( utf ) );

unsigned long unicode5 = 0x234567;

size = unicode_to_utf( unicode5, utf );

utf_print( utf, size );

memset( utf, 0x00, sizeof( utf ) );

unsigned long unicode6 = 0x34561234;

size = unicode_to_utf( unicode6, utf );

utf_print( utf, size );

/* error */

memset( utf, 0x00, sizeof( utf ) );

unsigned long unicode7 = 0x8FFFFFFF;

size = unicode_to_utf( unicode7, utf );

utf_print( utf, size );

return 0;

}

打印函数如下：

void

utf_print( unsigned char *utf, int size )

{

if ( size == -1 )

{

printf( "unknow scope\n" );

return;

}

int index = 0;

for ( ; index 

{

printf( "%X",  *( utf + index) );

}

printf( "\n" );

}

2，单字符UTF-8编码转Unicode编码：

int

utf_to_unicode( unsigned long utf, unsigned char *unicode )

{

int size = 0;

if ( utf <= 0x7F )

{

*( unicode + size++ ) = utf & 0x7F;

}

else if ( utf >= 0xC080 && utf <= 0xCFBF )

{

*( unicode + size++ ) = ( ( utf >> 10 ) & 0x07 );

*( unicode + size++ ) = ( utf & 0x3F ) | ( ( ( utf >> 8 ) & 0x03 ) <

}

else if ( utf >= 0xE08080 && utf <= 0xEFBFBF )

{

*( unicode + size++ ) = ( ( utf >> 10 ) & 0x0F ) | (( utf >> 16 ) & 0x0F ) <

*( unicode + size++ ) = ( utf & 0x3F ) | ((( utf >> 8 ) & 0x03 ) <

}

else if ( utf >= 0xF0808080 && utf <= 0xF7BFBFBF )

{

*( unicode + size++ ) = ( (utf >> 20 ) & 0x03 ) | ((( utf >> 24 ) & 0x07 ) <

*( unicode + size++ ) = (( utf >> 10 ) & 0x0F ) | ( ( ( utf >> 16 ) & 0x0F ) <

*( unicode + size++ ) = ( utf & 0x3F ) | ( ( utf >> 8 ) & 0x03 ) <

}

else if ( utf >= 0xF880808080 && utf <= 0xFBBFBFBFBF )

{

*( unicode + size++ ) = ( utf >> 32 ) & 0x03;

*( unicode + size++ ) = ( ( utf >> 20 ) & 0x03 ) | ( ( ( utf >> 24 ) & 0x3F ) <

*( unicode + size++ ) = ( ( utf >> 10 ) & 0x0F ) | ( ( ( utf >> 16 ) & 0x0F ) <

*( unicode + size++ ) = ( utf & 0x3F ) | ( ( (utf >> 8) & 0x03 ) <

}

else if ( utf >= 0xFC8080808080 && utf <= 0xFDBFBFBFBFBF )

{

*( unicode + size++ ) = ( ( utf >> 32 ) & 0x3F ) | ( ( ( utf >> 40 ) & 0x01 ) <

*( unicode + size++ ) = ( ( utf >> 20 ) & 0x03 ) | ( ( ( utf >> 24 ) & 0x3F ) <

*( unicode + size++ ) = ( ( utf >> 10 ) & 0x0F ) | ( ( ( utf >> 16 ) & 0x0F ) <

*( unicode + size++ ) = ( utf & 0x3F ) | ( ( ( utf >> 8 ) & 0x03 ) <

}

else

{

printf( "Error : unknow scope\n" );

return -1;

}

*( unicode + size ) = '\0';

return size;

}

测试用例：

int

main( int argc, char *argv[] )

{

unsigned char unicode[9];

int size = 0;

memset( unicode, 0x00, sizeof( unicode ) );

unsigned long utf1 = 0x55;

size = utf_to_unicode( utf1, unicode );

unicode_print( unicode, size );

memset( unicode, 0x00, sizeof( unicode ) );

unsigned long utf2 = 0xC480;

size = utf_to_unicode( utf2, unicode );

unicode_print( unicode, size );

memset( unicode, 0x00, sizeof( unicode ) );

unsigned long utf3 = 0xE4B8A5;

size = utf_to_unicode( utf3, unicode );

unicode_print( unicode, size);

memset( unicode, 0x00, sizeof( unicode ) );

unsigned long utf4 = 0xF0A39196;

size = utf_to_unicode( utf4, unicode );

unicode_print( unicode, size);

memset( unicode, 0x00, sizeof( unicode ) );

unsigned long utf5 = 0xF888B495A7;

size = utf_to_unicode( utf5, unicode );

unicode_print( unicode, size);

memset( unicode, 0x00, sizeof( unicode ) );

unsigned long utf6 = 0xFCB495A188B4;

size = utf_to_unicode( utf6, unicode );

unicode_print( unicode, size);

memset( unicode, 0x00, sizeof( unicode ) );

unsigned long utf7 = 0xFEBFBFBFBFBF;

size = utf_to_unicode( utf7, unicode );

unicode_print( unicode, size);

return 0;

}

打印函数如下：

void

unicode_print( unsigned char *unicode, int size )

{

if ( size == -1 )

{

printf("Error : unknow scope\n");

return;

}

int index = 0;

for ( ; index 

{

printf( "%02X", *( unicode + index ) );

}

printf("\n");

}

本文参考文献：http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html

G-limo
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ASCII码转化成UTF-8
weixin_30426957的博客
07-14 9648
int AsciToUtf8(char* pSrc, unsigned int nSrcLen, char* pBuffer, unsigned int nBufferLen) { assert(pSrc != NULL); int nRet(0); int nUtf16Len = MultiByteToWideChar(CP_ACP, 0, pSrc, ...
解决你的乱码难题（Qt转码与char和utf8的互转）
Shado_walker的专栏
02-21 7433
在跨平台的开发中，字符串的转码显得相当重要，稍有不慎，将会出现乱码的情况，在这里，首先说一下Qt的QString中几个关于转码的函数： （1）QByteArray toUtf8() const； （2）std::string toStdString() const； （3）QByteArray toLocal8Bit() const； （4）QString fr
GB2312编码和UTF-8互转（c语言实现）
01-01
GB2312编码与utf-8编码的字符串的转换，主要使用windows api函数MultiByteToWideChar和WideCharToMultiByte，代码简洁，经测试可用
c语言 乱码转化为16进制_Unicode与UTF-8互转(C语言实现)
weixin_39897392的博客
02-23 1472
1.1 ASCII码我们知道, 在计算机内部, 所有的信息最终都表示为一个二进制的字符串. 每一个二进制位(bit)有0和1两种状态, 因此八个二进制位就可以组合出 256种状态, 这被称为一个字节(byte). 也就是说, 一个字节一共可以用来表示256种不同的状态, 每一个状态对应一个符号, 就是256个符号, 从 0000000到11111111.上个世纪60年代, 美国制定了一套字符编码,...
C语言中的UTF-8编码转换处理
Python老吕的博客
03-10 1225
C语言是一门面向过程、抽象化的通用程序设计语言，广泛应用于底层开发。C语言能以简易的方式编译、处理低级存储器。C语言是仅产生少量的机器语言以及不需要任何运行环境支持便能运行的高效率程序设计语言。在计算机中，字符被存储和传输时需要进行编码处理。UTF-8（8位元Unicode Transformation Format）是一种针对Unicode的可变长度字符编码方式。它使用1到4个字节来表示不同的Unicode字符，具体取决于字符的编码。
linux下C可执行程序输出字符集编码（内码）分析
weixin_34192816的博客
06-30 903
为什么80%的码农都做不了架构师？>>> ...
utf-8等编码方式汉字和英文各占据的字节数
可乐止饱
02-18 5635
UTF-8编码下一个汉字(包括中文形式下的符号)一般是3个字节，一个英文(包括英文下的符号)1个字节，一个数字1个字节； 在GBK和GB2312编码下一个汉字(包括中文形式下的符号)是2个字节，一个英文(包括英文下的符号)1个字节，一个数字1个字节； Unicode编码一个汉字(包括中文形式下的符号)和一个英文(包括英文下的符号)一个数字都是4个字节； ASCII编码一个英文(包括英文下的符...
Unicode与UTF-8互转(C语言实现)
热门推荐
tge7618291的专栏
05-24 11万+
>                 Tags: encoding,c 1. 基础 1.1 ASCII码 我们知道, 在计算机内部, 所有的信息最终都表示为一个二进制的字符串. 每一个二进制 位(bit)有0和1两种状态, 因此八个二进制位就可以组合出 256种状态, 这被称为一个字 节(byte). 也就是说, 一个字节一共可以用来表示256种不同的状态, 每一个状态对应一
字符集和字符编码（附c语言判断utf8编码）
caixiaobai_1的博客
01-07 5646
1.基础知识 1.1.字符集 字符（Character）是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。 字符集（Character set）是多个字符的集合，字符集种类较多，每个字符集包含的字符个数不同，常见字符集有：ASCII字符集、GB2312字符集、BIG5字符集、 GB18030字符集、Unicode字符集等。 那么为什么会有那么多字符集标准呢？这是因为，很多规...
utf ucs16
dcw0402的专栏
03-15 677
UTF-8的特点是对不同范围的字符使用不同长度的编码。对于 0x00-0x7F之间的字符，UTF-8编码与ASCII编码完全相同。UTF-8编码的最大长度是4个字节。从表3-2可以看出，4字节模板有21个 x，即可以容纳21位二进制数字。Unicode的最大码位0x10FFFF也只有21位。     如：“汉”字的Unicode编码是0x6C49。0x6C49在0x0800-0xFFFF之间，使
单片机毕业设计-基于STM32的智能导盲杖
04-02
个人毕业设计的项目，Keil裸机开发， 芯片：STM32F103ZET6； 1、SIM900A模块（工作电流要求：>1A） ...1.语音合成模块的代码需要GBK格式的编码 2.SIM900A模块需要转换为十六进制的Unicode编码（每4位为一个字）
LPK专杀C语言源码
04-20
// 宽字符转换为多字符(Unicode --> ASCII) #define WCHAR_TO_CHAR(lpW_Char, lpChar) \ WideCharToMultiByte(CP_ACP, NULL, lpW_Char, -1, lpChar, _countof(lpChar), NULL, FALSE); // 多字符转换为宽字符...
C语言源代码格式化 完工 V1.08 20120801 1627.7z
08-01
原理：ASC（转换） 转 UNICODE 转 UTF-8。 处理子目录 SubtitleENCN 20110726 1924.7z 剔除中英文字幕中的中文。 原理：ASC 转 UNICODE（剔除中文） 回转ASC。 StringArrayBuildX10排版完成 20110728 0853.7...
C语言源代码格式化 完工 V1.09 20120821 2116.7z
08-21
原理：ASC（转换） 转 UNICODE 转 UTF-8。 处理子目录 WPT完成CFile改造成CreateFile SubtitleENCN 20110726 1924.7z 剔除中英文字幕中的中文。 原理：ASC 转 UNICODE（剔除中文） 回转ASC。 ...
C语言源代码格式化 完工 小文版本 V1.10 20120831 0955.zip
08-31
原理：ASC（转换） 转 UNICODE 转 UTF-8。 处理子目录 WPT完成CFile改造成CreateFile SubtitleENCN 20110726 1924.7z 剔除中英文字幕中的中文。 原理：ASC 转 UNICODE（剔除中文） 回转ASC。 ...
springboot(酒店管理系统)
04-25
开发语言：Java JDK版本：JDK1.8（或11） 服务器：tomcat 数据库：mysql 5.6/5.7（或8.0） 数据库工具：Navicat 开发软件：idea 依赖管理包：Maven 代码+数据库保证完整可用，可提供远程调试并指导运行服务（额外付费）～ 如果对系统的中的某些部分感到不合适可提供修改服务，比如题目、界面、功能等等... 声明： 1.项目已经调试过，完美运行 2.需要远程帮忙部署项目，需要额外付费 3.本项目有演示视频，如果需要观看，请联系我 4.调试过程中可帮忙安装IDEA，eclipse，MySQL，JDK，Tomcat等软件 重点： 需要其他Java源码联系我，更多源码任你选，你想要的源码我都有！ 需要加v19306446185
BP神经网络matlab实例.doc
最新发布
04-25
数学模型算法
设计.zip
04-25
设计.zip
c语言utf-8转换为unicode编码
09-02
需要注意的是，上述方法只是简单介绍了将UTF-8编码转换为Unicode编码的一种方式。实际应用中，还需要根据具体情况进行错误处理、内存申请等操作。因此，在实际使用时，建议使用已经被广泛测试和使用的第三方库，如...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值