tokens关于在输出字符时出现部分乱码

已于 2024-02-04 16:42:47 修改
阅读量456 收藏
点赞数 3
文章标签： 人工智能 机器学习 深度学习 神经网络 自然语言处理
于 2024-02-04 16:41:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39667443/article/details/136028683
版权
文章讨论了在使用大模型进行语言问答时遇到的字符显示问题，即某些字被转化为两个FFFD。原因在于大模型的tokenizer将中文字符分为了多个token。解决方案是遇到特殊字符时不直接输出，而是暂存并等待后续token一起解析。参考了一个GitHub上的MLX框架示例。
摘要由CSDN通过智能技术生成

在使用大模型做语言问答的时候，出现了有某些字无法正常显示而出现了两个� � 的情况。
在这里插入图片描述

解释如下：

tokens是大模型输出的基本单位，而不是字符的基本单位。大部分中文汉字都是三个token对应一个汉字，有部分生僻字是四个token对应一个汉字。在使用大模型的时候，输出的tokrnizer在解析时就会出现上述的问题。

解决方案：修正的代码中是遇到这个字符，就不吐出来，只把token加入待解析的队列，然后等下个token出来后一起解析。

参考：GitHub - someoneAlready/mlx-examples: Examples in the MLX frameworkhttps://www.fileformat.info/info/unicode/char/fffd/index.htm

​

郝铠锋
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Token解密出错：The string "此处为乱码'' doesn't have a valid JSON format(已解决)
weixin_43830606的博客
02-18 1万+
最近在毕设里面使用token做登录授权，使用postman测试出现了乱码报错： com.auth0.jwt.exceptions.JWTDecodeException: The string ‘�z��’G�#�KaTeX parse error: Expected 'EOF', got '&' at position 6: �uB"�&̲�r#��3S"’’ doesn’...
speechbrain 分词speechbrain.tokenizers.SentencePiece
hnlg311709000526的博客
12-19 439
这个分词主要针对的是英文，其中在speechbrain.tokenizers.SentencePiece文件中有一个open读取操作，其默认的是gbk，而自己保存的文件格式是utf-8，所以这个文件读取时会出现乱码情况，所以将所有open,添加 encoding="utf-8" 而且需要注意，分词相关的文件，一定不能错，以前的错误文件会对自己造成干扰 做个记录，方便以后查看 ...
ONVIF中getpreset返回中文乱码问题解决
qq_36184671的博客
08-23 597
soap_set_mode(proxyDevice.soap,SOAP_C_UTFSTRING); soap_set_mode(proxyDiscovery.soap,SOAP_C_UTFSTRING); soap_set_mode(proxyMedia.soap,SOAP_C_UTFSTRING); soap_set_mode(proxyPTZ.soap,SOAP_C_UTFSTRING); s...
bert相关问题总结
qq_45193988的博客
12-10 966
bert一些相关知识
中文字符高频到低频排序sorted.tokens
01-20
字符频率可以近似认为是难易程度排序
tokens
03-21
在IT行业中，"tokens"是一个广泛使用的术语，它在多个领域有着不同的含义，但通常与数据标识、认证和授权有关。这里的标题和描述都只提到"tokens"这个词，没有提供更多的上下文信息，因此我们将从广义上探讨tokens在...
design-tokens:Figma设计令牌的Runroom实现
05-01
如果选择以不同的方式调用它，请在执行时指定一个不同的配置文件。 您可以找到配置文件的模板 执行 使用来自node_modules的可执行bin将脚本添加到package.json中。 "scripts": { "design-tokens": "design-tokens...
C++中Digraphs、Trigraphs和Tokens的深入讲解
08-26
与Trigraphs类似，Digraphs的替换发生在编译器的tokenization阶段，但它们不会在字符串字面值、字符常量或注释中被替换。Digraphs通常作为关键字的替代，例如 `and` 对应 `&&`，`bitor` 对应 `|`，`or` 对应 `||`，`...
JSON Web Tokens的实现原理
09-21
本文主要介绍了JSON Web Tokens的实现原理。具有很好的参考价值，下面跟着小编一起来看下吧
前端表单提交中文数据变成乱码问题
Q1368089323的博客
04-25 3452
在使用Java进行Web开发的时候，会遇到一个常见的问题就是字符的编码问题，特别是中文的数据，如果没处理好就会显示乱码。 在需要用到数据库时，很有可能就会发生问题，比如要对数据库表进行查询，但是由于从前端接收到的字符串格式不对，从而导致无法查询到结果。
LangChain教程 | langchain 文本拆分器 | Text Splitters全集
HRG520JN的博客
03-28 6217
一旦加载了文档，您通常会想要转换它们以更好地适应您的应用程序。最简单的例子是，您可能希望将一个长文档分割成更小的块，以便适合模型的上下文窗口。LangChain有许多内置的文档转换器，可以轻松地拆分、组合、过滤和操作文档。当你想处理很长的文本时，有必要将文本分割成块。虽然这听起来很简单，但这里有很多潜在的复杂性。理想情况下，您希望将语义相关的文本片段放在一起。“语义相关”的含义可能取决于文本的类型。示例展示了几个方法来做到这一点。将文本分成语义上有意义的小块（通常是句子）。
大模型应用中一个 Token 占多少汉字？答案超乎想象！
最新发布
人工智能曾小健
07-17 548
原创 Soyoger AI技术研习社 2024年07月14日 09:00 美国先说答案：不同模型可能采用各自的切分方法，因此，一个 Token 所对应的汉字数量也会有所不同。如腾讯1token≈1.8个汉字，通义千问、千帆大模型等1token=1个汉字，对于英文文本来说，1个token通常对应3至4个字母， 不同的模型对相同的输入分词， 分词结果是不一样的。同样可以说，一个汉字占约0.5个Token。‌Token 是大模型中最基础、最常见的概念，它既可以是一个完整的单词，也可以是一个单词的一部分，甚至是标点
UnicodeDecodeError解决方案
u010814042的博客
07-11 1255
在使用tokenizer.tokenize()时候会遇到UnicodeDecodeError的问题，因为默认情况下，Python采用的是ascii编码方式，如下所示：python -c "import sys; print sys.getdefaultencoding()" ascii而Python在进行编码方式之间的转换时，会将 unicode 作为“中间编码”，但 unicode 最大只有 12
Python字符统一标准化
huludan的专栏
03-10 656
问题 在Python 3.X环境下使用Hugging Face中Bert模型获取词向量时，发现tokenizer的分词结果出现乱码，如下： # 这是直接在交互式命令行执行的结果 tokenizer.tokenize("anti - spam suit") Out[3]: ['anti', '-', 'spa', '##m', 'suit'] 转念一想，spam这样一个常见词应该在词表里出现啊，那问题应该出现在编码上，只要将字符串编码统一即可，想起之前看github上使用Bert的DNN项目代码，那个项
tokens是什么以及如何计算
热门推荐
war999的博客
02-11 1万+
openAI中tokens介绍
java项目 java web项目数据库乱码问题的解决办法
ljlstc123456的专栏
04-26 943
作为java菜鸟，在学习到数据库操作的时候往往会遇到一个很头痛的问题，数据库中文乱码。这似乎是每个java程序员在成长过程中都会遇到的问题，下面我就把我自己的几种方法和大家分享一下。（一般是在MyEclipse下开发）java项目：首先，确保项目的编码是gbk或utf-8(),在Windows->Preferences->General->Workplace里可以设置。如果项目是通过x
【再回首Python之美】【乱码】治疗输出中文却显示乱码的杂症
蔚蓝的天空Tom
02-08 381
一排给csdn解决方法1  脚本首行加#coding:utf-8  print u"我是中文字符串"解决方法2  str = "我是中文字符串"  print str.decode("UTF-8")解决方法3   将方法2定义为一个函数，以后调用使用。def decode_str(sentence): return sentence.decode("UTF-8"...
FOR参数F的选项delims与tokens总结（原创）
cjiabing的专栏
12-11 2844
本篇为《FOR入门与精通秘籍》的补充内容。在For命令语句的参数F中，最难理解的就是Delims和Tokens两个选项，本文简单的做一个比较和总结。“For /f”常用来解析文本，读取字符串。分工上，delims负责切分字符串，而tokens负责提取字符串。如果把字符串当作蛋糕，Delims像刀子，用来切蛋糕，tokens像叉子，用来取切好的蛋糕。下面我们用实例来进行理解。 把以下
接收松鼠屋的回调参数时出现HTTP method names must be tokens
05-12
"HTTP method names must be tokens" 是一个常见的 HTTP 错误。它表示 HTTP 请求中的方法名不合法。HTTP 方法名必须是标记（tokens），也就是只能包含 ASCII 字母、数字和一些特殊字符，不能包含空格或其他非法字符。 如果你在接收松鼠屋的回调参数时出现这个错误，可能是因为你在请求中使用了不合法的方法名。请检查你的代码，确保使用了合法的 HTTP 方法名，例如 GET、POST、PUT 等。 另外，还有可能是因为你的 HTTP 请求头部信息不正确导致的。请确保你的请求头部信息正确无误。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

郝铠锋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值