GBK、UTF-8、UTF-32、乱码原因

最新推荐文章于 2024-04-23 13:27:47 发布
最新推荐文章于 2024-04-23 13:27:47 发布
阅读量3.1k 收藏 1
点赞数 1
文章标签： etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45083214/article/details/127479189
版权

一、编码集

众所周知，编码集是一种用来囊括不同国家字符集的重要手段

由于计算机是由美国人发明的，所以首先出现的字符集是ASCII码集，因此现在所有的字符集也都兼容了ASCII码字符集，这也就是为什么英文基本不乱码的原因之一

二、GBK、UTF-8、UTF-32

GBK属于国标：一个汉字占两个字节 即 ： 1xxxxxxx xxxxxxxx 区别于英文字符的一个字节的表示：0xxxxxxx

为了统一全球字符，出现了UTF-32：它让所有的字符都占4个字节，不足四个字符的用00000000来补齐

这样虽然解决了全球字符集统一问题，却带来了一个新的问题：UTF-32内存浪费严重

于是出现了UTF-8,英文字符占1个字节，中文字符占3个字节，也有说法是3-4个字节，这样既那囊括了全球字符，又提供了可变类型的字符长度：1、2、3、4

三、乱码原因

编码和解码时所用的字符集不同，就会乱码

当我们从上游系统抽取数据时，由于各个系统所有的字符集不会完全相同，故需要使用它们编码的字符集来解码，这一过程可以使用抽取工具解决

大柴康介
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Eclipse项目的GBK编码转为UTF-8插件
09-30
当把别人的项目导入AndroidStudi中会经常发现编码错误，乱码等不可能一个一个去修改，只要你吧代码复制到eclise使用他就可以实现你想要的转码
乱码问题产生的原因与解决方案---UTF-8
Frank---7的博客
08-07 3262
乱码产生的原因 世界上存在着多种编码方式，同一个二进制数字可以被解释成不同的符号。因此，要想打开一个文本文件，就必须知道它的编码方式，否则用错误的编码方式解读，就会出现乱码。 解决办法 Unicode：一种编码，将世界上所有的符号都纳入其中。每一个符号都给予一个独一无二的编码，使用 Unicode 没有乱码的问题。 UTF-8 是在互联网上使用最广的一种 Unicode 的实现方式 ...
html声明charset=“utf-8“后，浏览器访问中文依旧乱码的问题解决(绝对有效)
热门推荐
weixin_50464560的博客
07-31 1万+
html声明charset="utf-8"后，浏览器访问中文依旧乱码(绝对有效) Created by Marydon on 2019-08-16 10:57 1.情景展示 　　html文件已经声明字符集为UTF-8，但是浏览器访问依旧乱码。 　　标题和页面内容都是乱码，这是怎么回事？ 2.原因分析 　　 charset="UTF-8"是让浏览器要用utf-8来解释，而文档的编码格式，是保存时的选择决定的。 　　也就是说：这个HTML文件保存时的字符集不是UTF-8！ 　　所以，HT...
MYSQL使用UTF8中文乱码终极解决办法
lxgwm2008的专栏
08-10 3724
MYSQL乱码的问题主要有几个环节决定,一个是前端网页;二是字符传输;三是连接MYSQL;四是MYSQL的存贮方式。 MYSQL的缺省字符集为latin1;如果不做任何处理,则存贮方式为latin;此时虽然在PHP程序中设置set names 'utf8',可以正确存取中文;但其实utf8的字符按照latin1来存贮,占用的字节数差不多翻倍。这样的方式,本质上是按照乱码存放,读取的时候再还原
当Linux配置zh_CN.UTF-8 ，中文还是显示乱码解决办法
洛阳山
01-28 6803
linux配置zh_CN.UTF-8中文还是乱码的解决办法
js实现GBK编码，解决乱码
03-16
用于js中实现 GBK编码。适合使用 js进行页面参数传递时，给 GBK编码页面传递参数，解决乱码。
关于GBK和UTF-8相互转换的乱码问题
gongli109的专栏
03-22 6581
再谈java乱码：GBK和UTF-8互转尾部乱码问题分析 关于这个老生常谈的问题：第一，不要试图直接去进行GBK和UTF字符集的转换，因为二者存储字节数的不一致，一定会出现乱码问题。 第二，ISO-8859-1是单字节编码的，所以GBK或者UTF-8到ISO-8859-1的转换都是安全，不会数据丢失...
关于gbk乱码问题（前程无忧）
weixin_44220464的博客
08-22 1273
在我们爬虫的道路上，无疑会碰到网页的gbk编码格式，显示效果是怎样的呢 经过源码的查看，我发现次网站是以gbk方式编码，查过资料后，得出结论要经过gbk编码结果就没问题了，但编码格式有点特殊，有必要提一下。 通过requests.get得到的源码经过response.encoding=‘gbk’已经编码为简体字 之前由于习惯没用过response.encoding转码，后经过写入文件发现原来的...
解释下你对GBK和UTF-8的理解？并说说页面上产生乱码的可能原因
小草莓的博客
04-26 888
UTF-8编码格式很强大，支持所有国家的语言，正是因为它的强大，才会导致它占用的空间大小要比GBK大，对于网站打开速度而言，也是有一定影响的。GBK编码：是指中国的中文字符，其它它包含了简体中文与繁体中文字符，另外还有一种字符“GB2312”，这种字符仅能存储简体中文字符。UTF-8编码：它是一种全国家通过的一种编码，如果你的网站涉及到多个国家的语言，那么建议你选择UTF-8编码。GBK编码格式，它的功能少，仅限于中文字符，当然它所占用的空间大小会随着它的功能而减少，打开网页的速度比较快。
java gbk编码_Java GBK 中文乱码问题分析
weixin_39926191的博客
02-12 3281
在io相关的操作中经常会出现乱码问题比如在一个txt文件中按GBK编码保存内容”淘！我喜欢！”然后用RandomAccessFile类读取并打印一行。RandomAccessFileraf=newRandomAccessFile("D://1.txt","r");System.out.print(raf.readLine());打印结果显示乱码：在网上查询到加入相关编码解码操作后可以解决该...
批量文本编码格式转换，支持gbk和utf-8
12-11
自制软件，文本批量格式转换，将ansi(即gbk)与utf-8相互转换，自己编写用来在浏览器上读txt小说时，避免乱码用的，共享出来方便大家使用，支持gbk和utf-8。
GBK乱码数据转UTF-8
02-27
由于程序缓存问题，导致数据库原存utf-8格式的数据，现在存进了GBK格式的数据导致乱码。需要将数据恢复，所以需要转码，现在将乱码数据导出存入Excel文件，通过java代码转换成utf-8格式的数据后打印update更新SQL...
utf8转gbk-C语言完美版.rar
12-24
这个版本，在旧版本基础上，增加了中文标点的支持，能够查找中文标点的gbk编码，解决了旧版本乱码问题
eclipse中class乱码GBK-UTF-8转换工具
08-08
NULL 博文链接：https://bingyingao.iteye.com/blog/2169164
ETL简介以及使用ETL（Kettle）进行数据接入的具体例子
承缘丶
04-23 938
ETL简介 业务表梳理以及接入规划 数据接入中的方便工具 数据治理实操训练
node-v9.6.0-x86.msi
04-29
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
Python基于机器学习的分布式系统故障诊断系统源代码，分布式系统的故障数据进行分析，设计故障诊断模型，高效地分析并识别故障类别
04-29
基于技术手段（包括但不限于机器学习、深度学习等技术）对分布式系统的故障数据进行分析，设计故障诊断模型，高效地分析并识别故障类别，实现分布式系统故障运维的智能化，快速恢复故障的同时大大降低分布式系统运维工作的难度，减少运维对人力资源的消耗。在分布式系统中某个节点发生故障时，故障会沿着分布式系统的拓扑结构进行传播，造成自身节点及其邻接节点相关的KPI指标和发生大量日志异常
JavaScript前端开发的核心语言前端开发的核心语言
最新发布
04-29
javascript 当今互联网时代，JavaScript已经成为了前端开发的核心语言它是一种高级程序设计语言，通常用于网页的交互和动态效果的实现。JavaScript的灵活性以及广泛的使用使得它变得异常重要，能够为用户带来更好的用户体验。 JavaScript的特点之一是它的轻量级，它可以在网页中运行无需单独的编译或下载。这意味着网页可以更快地加载并且用户无需安装额外的软件才能运行网页上的JavaScript代码。此外，与HTML和CSS紧密结合，可以直接在HTML文档中嵌入，使得网页的开发变得非常便捷。 JavaScript具有动态性，它可以在浏览器中实时修改页面内容和样。它可以通过操作DOM（文档对象模型来动态地修改网页的结构和布局，并且可以根据用户的行为实时地响应各种事件，如点击、标悬停、滚动等。这使得开发者可以轻松地为网页添加交互性和动态效果，提供更好的用户体验。 JavaScript也是一种面向对象的语言。它支持对象、类、继承、多态等面向对象编程的概念，使得代码结构更加清晰和可维护。开发者可以创建自定义的对象和方法，对功能进行封装和复用，提高代码的可读性和可维护性。
四则运算自动生成程序安装包
04-29
四则运算自动生成程序安装包
html gbk正确 utf-8乱码,GBK与UTF-8互转乱码详解
06-06
好的，让我来解答你的问题。 首先，我们需要了解一些基本概念： GBK 是一种针对汉字的编码方式，它能够表示所有的中文字符。而 UTF-8 是一种可变长度的编码方式，能够表示世界上所有的字符。 当我们在使用 GBK 编码的网页中嵌入了 UTF-8 编码的内容时，就会出现乱码的情况。同样，当我们在使用 UTF-8 编码的网页中嵌入了 GBK 编码的内容时，也会出现乱码的情况。 为了解决这个问题，我们需要进行编码的转换。具体的步骤如下： 1. 将 GBK 编码的内容转换成 UTF-8 编码的内容： 可以通过以下的方式来实现： ```python import codecs # 打开 GBK 编码的文件 with codecs.open('gbk.txt', 'r', 'gbk') as f: gbk_content = f.read() # 将 GBK 编码的内容转换成 UTF-8 编码的内容 utf8_content = gbk_content.encode('utf-8') # 将 UTF-8 编码的内容写入文件 with codecs.open('utf8.txt', 'w', 'utf-8') as f: f.write(utf8_content.decode('utf-8')) ``` 2. 将 UTF-8 编码的内容转换成 GBK 编码的内容： 可以通过以下的方式来实现： ```python import codecs # 打开 UTF-8 编码的文件 with codecs.open('utf8.txt', 'r', 'utf-8') as f: utf8_content = f.read() # 将 UTF-8 编码的内容转换成 GBK 编码的内容 gbk_content = utf8_content.encode('gbk') # 将 GBK 编码的内容写入文件 with codecs.open('gbk.txt', 'w', 'gbk') as f: f.write(gbk_content.decode('gbk')) ``` 希望这些信息能够帮助到你。如果你还有其他的问题，可以继续问我。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值