JavaScript用TextEncoder编码再用TextDecoder解码后与原始内容不一致的问题

最新推荐文章于 2024-05-22 18:37:08 发布

沙老师

最新推荐文章于 2024-05-22 18:37:08 发布

阅读量3.1k

点赞数

文章标签： javascript js unicode

本文链接：https://blog.csdn.net/shajunxing/article/details/121461361

版权

博主在编码过程中遇到乱码问题，通过测试发现TextEncoder和TextDecoder在处理某些Unicode值时会将其转换为65533。文章引用StackOverflow解答，指出这是由于Unicode转换规则导致的，并表达了对标准复杂性的无奈。最后，博主决定自行解决此类问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天发现编解码后的文字里面总是会出现一些“乱码”，于是写了一段代码测试，发现从55296之后统统变成了65533。

let enc = new TextEncoder();
let dec = new TextDecoder();
for (let i = 0; i <= 0xffff; i++) {
    let j = dec.decode(enc.encode(String.fromCodePoint(i))).codePointAt();
    if (i != j) console.log(i, j);
}

网上搜索了一番，StackOverflow真是个宝藏，什么稀奇古怪的问题都能查到（https://stackoverflow.com/questions/66298005/textencoder-textdecoder-not-round-tripping）。

我这里就简单讲了：TextEncoder.encode()的输入参数类型为USVString（Unicode Scalar Value），这玩意儿和普通的Unicode之间有个转换，在某个值范围内的，都会转成Replacement Character，即65533。至于为什么这么搞，不是有句名言么，“骆驼是委员会设计的马”，天晓得那帮搞Unicode和ES标准的委员们吃得有多饱？一个字符对应一个值不就完事儿了？搞这么复杂干什么？

算了还是自己动手丰衣足食吧。