一句话一张图 说清unicode 和 utf8

最新推荐文章于 2023-04-16 23:14:13 发布
原创 最新推荐文章于 2023-04-16 23:14:13 发布
· 374 阅读 · 0 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

 

unicode 是 字符的编码值，utf8是unicode 在计算机具体的存储方式。

 

再举个例子，用一张图解释一下就清楚了

"中"的unicode 是 4E2D, 但不能在计算机中直接保存，计算机怎么知道这是两个字节的中文啊

 

所以，使用utf8 编码格式，保存为三个字节： 1110               10                     10                   

  把unicode值4E2D   填充在空格的地方，正好 16个bit  , 得到了 E4 B8 AD

   

DONGHUIB
关注
一篇万字博文带你入坑爬虫这条不归路 【万字图文】
孤寒者的博客
07-09 92万+
一篇万字博文带你入坑爬虫这条不归路 【万字图文】
[网络安全自学篇] 十四.Python攻防之基础常识、正则表达式、Web编程和套接字通信（一）
杨秀璋的专栏
09-29 2万+
这是作者的系列网络安全自学教程，主要是关于网安工具和实践操作的在线笔记，特分享出来与博友共勉，希望您们喜欢，一起进步。前文分享了Wireshark抓包原理知识，并结合NetworkMiner工具抓取了图像资源和用户名密码，本文将讲解Python网络攻防相关基础知识，包括正则表达式、Web编程和套接字通信。本文参考了爱春秋ADO老师的课程内容，这里也推荐大家观看他Bilibili和ichunqiu的课程，同时也结合了作者之前的经验进行讲解。
utf-8 unicode编码表
03-26
所有的utf-8 unicode编码,都可以在表里面查询,方便进行文本处理.
关于Unicode编码和UTF-8编码
lvzhanbin的博客
10-02 9749
说到编码，得先从ASCII编码讲起。ASCII编码是由美国人发明，美国的字符不超过255个，所以ASCII编码使用了8bit 即一个字节来存储字符。由于汉字的数量远超255个，所以中国自己发明了一个GB2312编码来表示汉字，一般的汉字使用2个字节，对于一些生僻的汉字则使用更多的字节来表示，当然，GB2313编码是可以兼容ASCII码的。         然后，日本，韩国等等国家也自己发明了一套
unicode与UTF-8
朱登凯的专栏
11-09 448
字符集要解决的第一个问题是描述文字，包括字符、数字和符号等。最开始的方案是ASCII，它的编码规则也很简单，一个code point占用一个字节。它由美国人发明，在英文环境下运行的很好。 当计算机越来越普及时，人们发现ASCII字符集无法显示其它国家的语言文字，比如中文，于是各个国家就开始发明自己的编码，中国人发明了GB2312和GBK等，来解决中文的显示问题。 为了避免各国自己造轮子，ISO看不下去了，搞了一个UNICODE字符集，直接解决了世界上所有的语言字符集问题。但是，另外一个问题随之而来，就是存储
浅谈unicode编码和utf-8编码的关系
weixin_33816611的博客
12-05 692
字符串编码在Python里边是经常会遇到的问题，特别是写文件以及网络传输的过程中，当调用某些函数的时候经常会遇到一些字符串编码提示错误，所以有必要弄清楚这些编码到底在搞什么鬼。我们都知道计算机只能处理数字，文本转换为数字才能处理。计算机中8个bit作为一个字节，所以一个字节能表示最大的数字就是255。计算机是美国人发明的，而英文中涉及的编码并不多，一个字节可以表示所有字符了，所以ASCII（Ame...
Unicode和UTF8
Zaki_ho的博客
09-24 356
Unicode： Unicode码是由Unicode协会建立的一种编码方案，它支持使用世界各种语言所书写的文本的交换、处理和显示。它是一个符号集，它只规定了符号的二进制代码，却没有规定这个二进制应该如何储存。一个16位Unicode码占两个字节，用以 \u 开头的4位十六进制数表示，范围从‘\u0000’到‘\uFFFF’，有一百一十多万。 UTF8：UTF8是Unicode的实现方式之一，它是一...
字符编码和字符集有什么区别？Unicode是什么，和UTF-8是什么关系？你想知道的都在这篇文章了
烟雨星空的博客
08-29 990
前言 想必大家编写代码时肯定和我一样，也遇到过汉字乱码的问题。特别是，有时候和上下游对接接口，不能统一编码格式的话，一堆乱码问题，让人头皮发麻。 那么为什么会有这么多的乱码问题？ 什么是字符编码？什么是字符集？他们之间有什么区别和联系？ 什么是 Unicode ？ Unicode 和我们常说的 UTF-8 又有什么关系？ 字符编码和解码 要想搞清楚上面的问题，首先我们要知道，在计算机中，不管是一段文字、一张图片还是一段视频，最终都是以二进制的方式来存储。也就是最终都会转化为 0001 1011 0010
字符集编码（一）：Unicode 之前
zhang0402030211的专栏
02-17 689
字符集编码的历史出乎意料地复杂而有趣，打算花三个章节讲讲字符集编码的来龙去脉。本篇讲讲 Unicode 出现之前字符集编码领域的混沌与秩序
Perl Unicode全攻略
gftygff的博客
11-09 640
Perl Unicode全攻略
Unicode、UTF-8编码详解
lixiangchibang的博客
04-16 1万+
Unicode 编码
Unicode 和 UTF-8 详解
fancynthia的博客
02-01 3519
Unicode 和 UTF-8 详解
unicode-UTF8的区别
zxyhhjs2017的博客
07-09 514
转载：https://www.zhihu.com/question/23374078
你真的懂 Unicode 和 UTF-8 是什么关系吗？来看看这个就彻底懂了！
热门推荐
zhusongziye的博客
11-19 6万+
想必做过爬虫的同学肯定被编码问题困扰过，有 UTF-8、GBK、Unicode 等等编码方式，但你真的了解其中的原理吗？下面我们就来了解一下 Unicode 和 UTF-8 编码到底有什么关系。 要弄清 Unicode 与 UTF-8 的关系，我们还得从他们的来源说起，下来我们从刚开始的编码说起，直到 Unicode 的出现，我们就会感觉到他们之间的关系  ASCII码 我们都知道，在计算机...
Unicode, utf-8
Lady_EGG的博客
04-20 134
Unicode可以认为是字符的编号，即每个字符在Unicode表里面的序号。 utf8是一种编码方式，类似于哈夫曼编码过程，就是把常用（位置靠前）的Unicode字符用短编码表示，不常用的字符用长代码表示，从而实现更小的整个文档的文件大小。在UTF-8编码中，英文字母是一个字节，中文（非生僻字）是2~3个字节。 可以认为，utf8是对Unicode的一种压缩算法。 ...
以一张图解释清楚Unicode和UTF-8和GBK等的区别、意义和作用
Weeds的博客
04-02 442
UTF8和Unicode
qq_45678332的博客
12-31 288
unicode在很长一段时间内无法推广，直到互联网的出现，为解决unicode如何在网络上传输的问题，于是面向传输的众多 UTF（UCS Transfer Format）标准出现了，顾名思义，UTF-8就是每次8个位传输数据，而UTF-16就是每次16个位。UTF-8就是在互联网上使用最广的一种unicode的实现方式，这是为传输而设计的编码，并使编码无国界，这样就可以显示全世界上所有文化的字符了...
unicode字符集和utf-8编码
u013862108的博客
04-21 1556
字符集 和字符编码的关系： 字符集 是 书写系统字母与符号的集合 字符编码则是 将字符映射为一 特定的字节 或字节序列， 是一种规则。 通常特定的字符集 采用特定的编码方式（即一种字符集 对应一种字符编码，例如ASCII, IOS-8859-1, GB2312, GBK ,都是表示了字符集又表示了相应的字符编码，）但 unicode 不是，他的编码方式有好几种 如 ：UTF-8 UTF-16BE UTF-16LE UTF-32 等 字符集的发展 单字节 -> 双字节 —> ...
unicode变形一句话突破web防火墙过滤
weixin_34409822的博客
06-25 345
现在有不少服务器加了web的防火墙，用来过滤含asp/jsp/php的网马代码，全部用空格替换， 比较讨厌，不过后来刚好想到以前的一句话时候的unicode编码，那就也搞一个吧。 1.新建一个mdb 2.建表，考入：┼攠數畣整爠煥敵瑳∨≡┩> （实际是<% execute request(“a”)%>） 3.改后缀为asp/asa 4.上传 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值