一文读懂Token，大模型为什么要按token计费

最新推荐文章于 2025-04-15 11:45:00 发布
最新推荐文章于 2025-04-15 11:45:00 发布
阅读量4.8k 收藏 12
点赞数 6
文章标签： 人工智能 ai大模型 token LLM 大模型训练 大语言模型 计算机技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/python1234_/article/details/141557263
版权

Token的概念

在大型语言模型中，"Token"可以被理解为文本中的一个基本单位，它是计算机处理和理解语言的起点。每个Token可以是一个单词、一个字符、或者一个子词（subword），具体取决于所使用的分词方法。

CSDN上大批作者测算 1000个token大约相当于750个英文单词。1个 token大概是 0.75个单词。

图片

Token的编码形式

每个Token在模型中会被转换成一个数字ID，这些ID对应于模型的词汇表中的条目。模型通过这些ID来处理文本数据。

  • 原句：“I have a dream.”
  • Token化：[“I”, “have”, “a”, “dream.”]
  • 数字ID化：[40, 617, 264, 8063, 13]

图片

为什么要使用 Token

对于 ChatGPT 等生成式AI来说，“Token”扮演着至关重要的角色。大模型不是直接做的“字符”的计算,而是将字符变成一个数字,也就是变成了 Token 来处理。

中文和英文的略有区别

  1. 英文中的Token：

Token通常是一个单词或者标点符号：在英文中，Token经常与单词一一对应。例如，句子 “The quick brown fox jumps over the lazy dog.” 中的每个单词都是一个Token。

图片

  • Token可以是词的一部分：在某些情况下，如果单词太长或模型的词汇表大小有限，单词可能会被进一步分解成更小的部分。例如，一个非常长的医学术语可能会被分解成多个Token。

例如非常长的医学术语 “antidisestablishmentarianism”，这个词意为“反对政教分离主义”。这个单词非常长，可能超出了某些语言模型的词汇表范围。

图片

让我们再看一个例子，单词 “unhappiness”。

图片

  1. 中文中的Token：
  • Token可以是一个汉字：在某些情况下，尤其是在字符级别的模型中，一个Token可能就是一个单独的汉字。
  • Token可以是词组：在大多数情况下，一个Token可能是由多个汉字组成的词组。例如，"一个Token可能是由多个汉字组成的词组。“中的"一个”，“可能”可以被视为一个Token。

图片

  • 中文和英文的词汇表大小可能不同，这可能影响Token的生成方式和计费。

  • 不一样的模型，Token 的计数也有差异。例如，我们放到“ERNIE-4.0-8K”模型中，他token数有明显的不同。

图片

Token计费

ChatGPT4 API 的价格采用了基于每 1000 个 Token 的定价标准，分为输入端和输出端：

  • 输入端： 每 1000 个 Token 收费 0.03 美元
  • 输出端： 每 1000 个 Token 收费 0.06 美元

通义千问计费单价

模型服务模型规格输入（input）价格输出（output）价格
Qwen-Longqwen-long0.0005元/1,000 tokens0.002元/1,000 tokens
通义千问-Turboqwen-turbo0.002元/1,000 tokens0.006元/1,000 tokens
qwen-turbo-0624
qwen-turbo-0206
通义千问-Plusqwen-plus0.004元/1,000 tokens0.012元/1,000 tokens
qwen-plus-0624
qwen-plus-0206
通义千问-Maxqwen-max0.04元/1,000 tokens0.12元/1,000 tokens
qwen-max-04280.04元/1,000 tokens
qwen-max-04030.04元/1,000 tokens
qwen-max-01070.04元/1,000 tokens
qwen-max-12010.12元/1,000 tokens
qwen-max-longcontext0.04元/1,000 tokens

文心大语言模型

模型子项单价
ERNIE 4.0 Turbo系列输入0.03元/千tokens
输出0.06元/千tokens
ERNIE 4.0系列输入0.04元/千tokens
输出0.12元/千tokens
ERNIE 3.5系列输入0.004元/千tokens
输出0.012元/千tokens
ERNIE Speed系列输入免费
输出免费
tokenizer公有云在线调用：ERNIE-Bot系列大模型token长度计算接口-0.0006元/千tokens
ERNIE Lite系列输入免费
输出免费
ERNIE-3.5-128k输入0.008元/千tokens
输出0.024元/千tokens
ERNIE Tiny系列输入免费
输出免费
ERNIE-Character系列输入0.004元/千tokens
输出0.008元/千tokens
ERNIE Function系列输入0.004元/千tokens
输出0.008元/千token

Token测试工具

  • OpenAI 官方的 “tokenizer”：https://platform.openai.com/tokenizer
  • https://tiktoken.aigc2d.com/

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

基于LLM大模型的结构化数据批量提取
新缸中之脑
01-16 3237
在当今世界，越来越多的组织致力于数据驱动的决策。然而，他们通常面临着从非结构化文本数据（例如客户评论或反馈）中提取有价值的见解的挑战。这篇文章是为想要使用非结构化数据获得有用见解的数据科学家、分析师和决策者量身定制的。我们探索大型语言模型 (LLM) 的批量用例，重点关注非结构化文本到结构化数据的转换。通过利用这种方法，企业可以利用结构化信息丰富其数据库，并提高对非结构化数据源的理解。为了说明此类用例，我们将深入研究客户反馈分析的示例。这个提供了开始使用此类 LLM 批量用例的常规设置。
一文读懂：大模型RAG
weixin_42029738的博客
06-11 1111
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
大模型核心概念科普：Token、上下文长度、最大输出，一次讲透
2301_81940605的博客
03-21 1953
举例来说：模型原生支持 64K，但用户累计输入+输出已达 64K ，当用户再进行一次请求（比如输入有 2K）时就超限了，这时候服务端仅保留最后 64K tokens 供模型参考，前 2K 被丢弃。(几乎涵盖所有行业)既然知道了最大输出长度和上下文长度的概念，也知道了它们背后的逻辑和原理，那么我们在使用大模型工具时就要有自己的使用策略，这样才能事半功倍。最大输出长度这个概念非常清晰，很好理解，反正就是模型每次给你的输出最多 8000 个字，多了你就别想了，超限制了，人家做不到～～为什么要有这些限制呢？
一文读懂：DeepSeek之类的大模型为啥都按token收费？tokens究竟是什么？
吴所畏惧
02-28 1243
一文读懂：DeepSeek之类的大模型为啥都按token收费？tokens究竟是什么？
使用 Ollama 本地运行各种 LLM
python123456_的博客
05-31 1188
今天看看另外一个产品Ollama。Ollama 的安装非常简单，只需从官网（https://ollama.com/download）下载后解压缩，并在 Terminal 中运行脚本即可完成环境设置。我尝试运行 Llama3，虽然在运行时占用了大量电脑资源，使得其他应用运行变慢，但整体体验尚可。Ollama 支持多种大型语言模型（https://ollama.com/library）。
AnythingLLM：基于RAG方案构专属私有知识库（开源｜高效｜可定制）
热门推荐
FrenzyTechAI的博客
12-13 2万+
继OpenAI和Google的产品发布会之后，大模型的能力进化速度之快令人惊叹，然而，对于很多个人和企业而言，为了数据安全不得不考虑私有化部署方案，从GPT-4发布以来，国内外的大模型就拉开了很明显的差距，能够实现的此路径无非就只剩下国内的开源大模型可以选择了。而现阶段切入大模型应用落地最合适的方案依然是结合大模型基于RAG检索增强来实现知识库的检索和生存。从而构建个人或者企业私有化的本地知识库。
【LLM大模型】AI大模型图书推荐：大模型应用开发极简入门
2301_81940605的博客
08-09 1149
今天给大家推荐一本大模型应用开发入门书籍《大模型应用开发极简入门》，本书对很多AI概念做了讲解和说明，
【大模型应用开发-大模型知识】(二)大模型分类和常见大模型
02-27 9285
目前包含 Claude 和 Claude-Instant 两种模型可供选择，其中 Claude Instant 的延迟更低，性能略差，价格比完全体的 Claude-v1 要便宜，两个模型的上下文窗口都是 9000 个token（约 5000 个单词，或 15 页）它的目标是“更安全”、“危害更小”的人工智能。Google 还开发了多种 PaLM 的改进版本。更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。
【一文读懂】大语言模型
weixin_52836217的博客
11-29 1363
介绍了目前最火的大语言模型，一文带你理解大语言模型相关基础知识。
一文读懂 Tokens 的原理、应用与成本优化
最新发布
awei0916的专栏
04-15 998
Tokens是大模型处理文本时的最小语义单元，是自然语言与机器语言之间的“翻译中介”。其角色相当于计算机世界的二进制编码。与人类理解的"字词"不同，Token通过特殊算法将连续文本转化为离散符号以适配神经网络。示例：句子“我爱AI大模型”在不同模型中可能被切分为：我爱AI大模型（7个Token）我爱AI大模型（4个Token）我爱AI大##模型（5个Token，##表示子词前缀）Tokens不仅是大模型的“语言细胞”，更是连接技术原理与工程落地的关键纽带。选择更适配的模型与分词方案。
一文读懂RTSP协议-【RTSP协议详解】
yinshipin007的博客
09-03 4752
接下来的数据包头部第二个字节位置就是interleaved，它的值是每个通道都不同的，trackID＝0的interleaved值有两个0或1，0表示rtp包，1表示rtcp包，接受端根据interleaved的值来区别是哪种数据包。其中方法包括OPTIONS、SETUP、PLAY、TEARDOWN等待，URI是接收方（服务端）的地址，例如：rtsp://192.168.22.136:5000/v0，每行后面的CR LF表示回车换行，需要接收端有相应的解析，最后一个消息头需要有两个CR LF。
viky-ai：自然语言处理平台。 允许从非结构化文本中提取信息
02-05
欢迎来到viky.ai 什么是viky.ai viky.ai是自然语言处理平台。 它允许您从非结构化文本内容中提取信息。 技术组件nlp允许提取结构化信息，此提取在代理中定义。 代理商是会说多种语言的助手，以查找相关数据。 nlp组件将一组JSON格式的代理和非结构化文本内容作为输入，以提供结构化数据的JSON流作为输出。 第二个技术组件是一个Web应用程序，允许您通过提供专用界面来协同工作以设置代理。 它还提供了解释API，以允许集成到第三方系统中。 入门 您可以在Linux和macOS上运行viky.ai。 要求 用于开发的viky.ai本地安装依赖于以下依赖项。 Docker E
一文读懂 Serverless，将配置化思想复用到平台系统中
数据库技术
01-25 208
写在前面 在 SaaS 领域 Salesforce 是佼佼者，其 CRM 的概念已经扩展到了 Marketing、Sales、Service 等领域。那么 Salesforce 靠什么变成了这三个行业的解决方案呢？得益于 Salesforce 强大的 aPaaS 平台。 ISV、内部实施、客户均可以从自己的维度基于 aPaaS 平台构建自己的行业，实现业务定制，甚至是行业定制。因为在此之前只有在 Sales 方向有专门的 SaaS 产品，而 Marketing 和 Service 都是由自己的 IS..
【大模型书籍】24年最新大模型书籍，一书通关LLM大模型，＜大模型应用开发极简入门＞蛇尾书！
pythonhy的博客
06-25 2384
大家好，今天给大家推荐一本大模型应用开发入门书籍《大模型应用开发极简入门》，本书对很多AI概念做了讲解和说明！朋友们如果有需要 《》，👉CSDN大礼包（安全链接，放心点击）👈​。
一种使得大模型输出结构化数据的简易方法
AndrewLi的博客
07-10 6719
最近在用大模型跑一些数据，于是就不可避免的遇到了如何让大模型输出的格式便于处理这个问题。经过一些研究总结出了一套比较有用的方法，在这里总结一下。
AnythingLLM一键AI私有知识库! 支持多种大模型、RAG 和 AI Agents！
Y525698136的博客
10-25 1809
AnythingLLM是一个全栈AI应用程序，可以将任何文档、资源（如网址链接、音频、视频）输入大语言模型（LLM），与大模型互动。
python提取文本中的数字_用深度学习从非结构化文本中提取特定信息
weixin_39927993的博客
11-27 848
本文为 AI 研习社编译的技术博客，原标题 ：Deep learning for specific information extraction from unstructured texts作者 | Intuition Engineering翻译 | AI小山 编辑 | 王立鱼原文链接：https://towardsdatascience.com/deep-learning-for-s...
论文导读 | 利用LLM从科学文本中抽取结构化信息
m0_59164520的博客
12-03 1400
对于机器学习模型来说，从科学文本中抽取结构化知识仍然是一项具有挑战性的任务。本文提出了一种简单的联合命名实体识别和关系抽取(NERRE)的方法，并展示了如何对预训练的大型语言模型（GPT-3, Llama-2）进行微调，以抽取复杂科学知识。论文测试了材料化学中的三个代表性任务：固态杂质掺杂，金属有机框架(MOFs)，以及一般成分/相/形态/应用信息抽取。记录是从单个句子或整个段落中抽取的，输出可以以简单的英语句子或更结构化的格式（如JSON对象列表）返回。
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
Python单行客的博客
10-30 8417
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
什么是大模型token
01-16
### 大模型 Token 的定义 在大模型中，Token 是文本处理的基本单位[^4]。具体而言，Token 可以是一个字、一个词，或者是其他由模型定义的语言单元。这意味着当模型理解和生成文本时，并不会以完整的句子或段落为单位进行一次性处理，而是将文本拆分为一个个更小的部分——即 Tokens。 #### Token 的作用 Tokens 在大型语言模型（LLM）中扮演着至关重要的角色，作为模型理解和生成文本的基础[^2]。以下是几个主要方面： - **输入表示**：为了使计算机能够理解人类语言，必须先将原始文本转换成数值形式。这个过程通常涉及两个阶段：首先是分词（即将连续的文字序列分割成离散的 tokens），其次是编码（将每个 token 映射到对应的向量空间）。通过这种方式，可以有效地捕捉词语之间的关系以及上下文信息。 - **输出预测**：当 LLM 需要生成新的文本内容时，同样依赖于对先前已知部分所组成的 token 序列的学习来推测后续可能出现的内容。每次迭代仅需考虑当前时刻之前的有限数量的历史记录即可完成下一步的选择决策，从而实现高效的在线推理服务提供支持。 - **优化训练效率**：由于现代深度神经网络架构往往具备极高的计算需求，在实际应用过程中往往会采用截断策略限制单次传递的最大长度范围；因此合理设置每句话内部最大允许存在的 token 数目有助于提高整体运算速度并减少资源消耗成本。 ```python import transformers as trf tokenizer = trf.AutoTokenizer.from_pretrained('bert-base-uncased') text = "This is an example sentence." tokens = tokenizer.tokenize(text) print(tokens) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值