一文读懂Token，大模型为什么要按token计费

于 2024-08-26 10:17:46 发布
阅读量150 收藏 2
点赞数 3
文章标签： 人工智能 ai大模型 token LLM 大模型训练 大语言模型 计算机技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/python1234_/article/details/141557263
版权

Token的概念

在大型语言模型中，"Token"可以被理解为文本中的一个基本单位，它是计算机处理和理解语言的起点。每个Token可以是一个单词、一个字符、或者一个子词（subword），具体取决于所使用的分词方法。

CSDN上大批作者测算 1000个token大约相当于750个英文单词。1个 token大概是 0.75个单词。

图片

Token的编码形式

每个Token在模型中会被转换成一个数字ID，这些ID对应于模型的词汇表中的条目。模型通过这些ID来处理文本数据。

  • 原句：“I have a dream.”
  • Token化：[“I”, “have”, “a”, “dream.”]
  • 数字ID化：[40, 617, 264, 8063, 13]

图片

为什么要使用 Token

对于 ChatGPT 等生成式AI来说，“Token”扮演着至关重要的角色。大模型不是直接做的“字符”的计算,而是将字符变成一个数字,也就是变成了 Token 来处理。

中文和英文的略有区别

  1. 英文中的Token：

Token通常是一个单词或者标点符号：在英文中，Token经常与单词一一对应。例如，句子 “The quick brown fox jumps over the lazy dog.” 中的每个单词都是一个Token。

图片

  • Token可以是词的一部分：在某些情况下，如果单词太长或模型的词汇表大小有限，单词可能会被进一步分解成更小的部分。例如，一个非常长的医学术语可能会被分解成多个Token。

例如非常长的医学术语 “antidisestablishmentarianism”，这个词意为“反对政教分离主义”。这个单词非常长，可能超出了某些语言模型的词汇表范围。

图片

让我们再看一个例子，单词 “unhappiness”。

图片

  1. 中文中的Token：
  • Token可以是一个汉字：在某些情况下，尤其是在字符级别的模型中，一个Token可能就是一个单独的汉字。
  • Token可以是词组：在大多数情况下，一个Token可能是由多个汉字组成的词组。例如，"一个Token可能是由多个汉字组成的词组。“中的"一个”，“可能”可以被视为一个Token。

图片

  • 中文和英文的词汇表大小可能不同，这可能影响Token的生成方式和计费。

  • 不一样的模型，Token 的计数也有差异。例如，我们放到“ERNIE-4.0-8K”模型中，他token数有明显的不同。

图片

Token计费

ChatGPT4 API 的价格采用了基于每 1000 个 Token 的定价标准，分为输入端和输出端：

  • 输入端： 每 1000 个 Token 收费 0.03 美元
  • 输出端： 每 1000 个 Token 收费 0.06 美元

通义千问计费单价

模型服务模型规格输入（input）价格输出（output）价格
Qwen-Longqwen-long0.0005元/1,000 tokens0.002元/1,000 tokens
通义千问-Turboqwen-turbo0.002元/1,000 tokens0.006元/1,000 tokens
qwen-turbo-0624
qwen-turbo-0206
通义千问-Plusqwen-plus0.004元/1,000 tokens0.012元/1,000 tokens
qwen-plus-0624
qwen-plus-0206
通义千问-Maxqwen-max0.04元/1,000 tokens0.12元/1,000 tokens
qwen-max-04280.04元/1,000 tokens
qwen-max-04030.04元/1,000 tokens
qwen-max-01070.04元/1,000 tokens
qwen-max-12010.12元/1,000 tokens
qwen-max-longcontext0.04元/1,000 tokens

文心大语言模型

模型子项单价
ERNIE 4.0 Turbo系列输入0.03元/千tokens
输出0.06元/千tokens
ERNIE 4.0系列输入0.04元/千tokens
输出0.12元/千tokens
ERNIE 3.5系列输入0.004元/千tokens
输出0.012元/千tokens
ERNIE Speed系列输入免费
输出免费
tokenizer公有云在线调用：ERNIE-Bot系列大模型token长度计算接口-0.0006元/千tokens
ERNIE Lite系列输入免费
输出免费
ERNIE-3.5-128k输入0.008元/千tokens
输出0.024元/千tokens
ERNIE Tiny系列输入免费
输出免费
ERNIE-Character系列输入0.004元/千tokens
输出0.008元/千tokens
ERNIE Function系列输入0.004元/千tokens
输出0.008元/千token

Token测试工具

  • OpenAI 官方的 “tokenizer”：https://platform.openai.com/tokenizer
  • https://tiktoken.aigc2d.com/

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

我爱学AI
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
一文读懂：大模型RAG
2401_85779703的博客
06-17 1077
选择特定路由的过程是通过大语言模型调用来实现的，其结果按照预定义的格式返回，以路由查询指定的索引。如果是涉及到关联操作，这些查询还可能被发送到子链或其他智能体，如下面的。
一文读懂：大模型RAG（检索增强生成）
m0_59164304的博客
04-11 1万+
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
一文读懂去中心化无线网络DeWi
qq_32193015的博客
11-09 913
读懂去中心化无线网络DeWi
一文读懂RTSP协议-【RTSP协议详解】
yinshipin007的博客
09-03 4537
接下来的数据包头部第二个字节位置就是interleaved，它的值是每个通道都不同的，trackID＝0的interleaved值有两个0或1，0表示rtp包，1表示rtcp包，接受端根据interleaved的值来区别是哪种数据包。其中方法包括OPTIONS、SETUP、PLAY、TEARDOWN等待，URI是接收方（服务端）的地址，例如：rtsp://192.168.22.136:5000/v0，每行后面的CR LF表示回车换行，需要接收端有相应的解析，最后一个消息头需要有两个CR LF。
AI小白的快速入门-大语言模型中的名词，一文带你了解
lvaolan8888的博客
05-21 826
随着人工智能(AI)的快速发展，越来越多的人开始对这一领域产生浓厚的兴趣。但对于初学者来说，AI开发中的诸多名词可能会让人感到困惑。今天，我们就来一起解密AI开发中的常见名词，让你轻松入门！1.Prompt（提示）在人工智能（AI）和机器学习的上下文中，"prompt"一词通常指的是给模型提供的输入或查询，以引导模型生成特定的输出或响应。这种输入可以是一个问题、一段文字、一张图片或其他类型的数据，具体取决于模型的类型和应用场景。Prompt在人与AI的交互过程中起到了桥梁的作用。
一文读懂：LLM大模型RAG
AAI666666的博客
07-09 1496
检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。
一文读懂Serverless，配置化思想复用到平台系统中
春哥大魔王的博客
01-12 292
写在前面在SaaS领域Saleforce是佼佼者，其CRM的概念已经扩展到了Marketing、Sales、Service等领域。那么Saleforce靠什么变成了这三个行业的解决方案呢...
一文读懂 Serverless，将配置化思想复用到平台系统中
阿里云云栖号
01-25 1366
简介： 搭建一个 aPaaS 平台是需要很长时间的，当然也可以基于一些公有云产品的 Serverless 方案实现现有系统的灵活性与扩展性，从而实现针对于不同客户的定制。 写在前面 在 SaaS 领域 Salesforce 是佼佼者，其 CRM 的概念已经扩展到了 Marketing、Sales、Service 等领域。那么 Salesforce 靠什么变成了这三个行业的解决方案呢？得益于 Salesforce 强大的 aPaaS 平台。 ISV、内部实施、客户均可以从自己的维度基于 aPaaS 平台
AI大模型日报#0425：全球最大开源模型再刷爆纪录、苹果官宣端侧小模型、昆仑万维发布视觉多模态Vitron
常政·视角
04-25 810
AI大模型日报，爬虫+LLM自动生成，一文览尽每日AI大模型要点资讯！
【SpringBoot】44、SpringBoot中整合JWT实现Token验证（整合篇）
热门推荐
Asurplus
02-28 21万+
什么是JWT？ Json web token (JWT)，是为了在网络应用环境间传递声明而执行的一种基于 JSON 的开放标准（(RFC 7519)，该 token 被设计为紧凑且安全的，特别适用于分布式站点的单点登录（SSO）场景。JWT 的声明一般被用来在身份提供者和服务提供者间传递被认证的用户身份信息，以便于从资源服务器获取资源，也可以增加一些额外的其它业务逻辑所必须的声明信息，该token也可直接被用于认证，也可被加密。 为什么需要JWT? 当我们开发前后端分离项目时，要求我们对用户会话状态要进行一
【SpringBoot】45、SpringBoot中整合JWT实现Token验证（注解篇）
Asurplus
02-28 21万+
前言 上篇文章，我们已经在 SpringBoot 中整合了 JWT 并实现了 Token 验证，那我们在实际应用中就会发现，如果每个 视图层（controller）都手动验证 token，代码就会显得特别臃肿，本篇文章主要为了解决该问题。 如果对整合 JWT 还不熟悉的朋友，可以先看看我的这篇博客：【SpringBoot】四十四、SpringBoot中整合JWT实现Token验证 自定义注解 1、创建自定义注解 package com.asurplus.common.annotation; import
【微服务】springboot 整合 SA-Token 使用详解
congge
08-04 1万+
springboot 整合 SA-Token 使用详解
大模型推理速度测评的实战代码
herosunly的博客
01-06 3万+
今天给大家带来的文章是大模型推理速度测评的实战代码，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 实战代码
AI大模型应用开发实践：3.使用 tiktoken 计算 token 数量
Hugo的博客
05-23 1941
tiktoken是OpenAI开发的一种BPE分词器。给定一段文本字符串（例如，）和一种编码方式（例如，），分词器可以将文本字符串切分成一系列的token（例如，将文本字符串切分成token非常有用，因为GPT模型看到的文本就是以token的形式呈现的。知道一段文本字符串中有多少个token可以告诉你（a）这个字符串是否对于文本模型来说太长了而无法处理，以及（b）一个OpenAI API调用的费用是多少（因为使用量是按照token计价的）。
【小迪安全笔记V2022】信息打6~8
最新发布
2202_75354817的博客
08-25 492
小迪安全学习笔记
零基础学习人工智能—Python—Pytorch学习（六）
kiba518的博客
08-21 949
前言 本文主要讲神经网络的上半部分。 这篇文章开始有很多公式了，这些公式都很简单，但是如果是不经常在脑海里思考公式的人，那可能需要多花点时间做一下自我训练，个人感觉，也就几天时间，就能把自己感觉给调整出来。 习惯了公式看下面内容就会轻松很多，另外如果要深入学习人工智能，熟练的认知公式也是个必须的事情。 另外，我发现我前面文章写的有歧义的地方还是挺多，虽然，已经改了一部分，但，可能还有没发现的，大...
透明性和解释性AI：概念与应用
weixin_49007164的博客
08-25 676
透明性AI指的是AI系统的操作过程、决策机制、数据流动和模型行为是可理解和可追踪的。换句话说，透明性AI使得人们可以清楚地看到AI系统是如何做出决策的，这一过程包括输入数据的处理方式、模型的内部计算过程、以及最终决策的产生机制。解释性AI是指AI系统不仅能够给出决策结果，还能够提供关于该决策如何产生的解释。解释性AI的目标是帮助用户理解AI的行为，尤其是当AI的决策与预期不符时，提供合理的解释来消除用户的疑虑。
yolov8 出现loss 为nan
zhaoluruoyan89的博客
08-21 328
这篇博客警示读者在购买用于深度学习的显卡时要避开那些导致RuntimeWarning: All-NaN slice encountered的问题。作者强调这些Tensor核心存在严重缺陷，不适宜进行深度学习任务，建议大家在选购时务必谨慎。方法二：将混合精度训练AMP 设置为False。方法一：降低cuda和pytorch 版本号。
大模型的token是什么
06-25
大模型中的"token"通常是指自然语言处理中的一种基本单位，特别是在基于Transformer架构的预训练模型如BERT、GPT等中。Token是将文本输入分解为可处理的序列的基本单元，例如在词嵌入模型中可能是单词，而在字符级别的模型中可能是单个字符。 每个token会被赋予一个唯一的编号，这个编号对应模型内部的一个特定向量表示。在模型训练过程中，这些tokens用于编码输入文本，让模型能够理解句子的结构和含义。当我们在模型中执行预测或生成任务时，我们会将输入文本转换为一系列的tokens，并将这些tokens馈送到模型中，得到相应的输出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值