Token的概念
在处理自然语言时,文本首先会被分割成更小的单元,这些单元就是“token”,token可以是单词、字符、子词(subword)或任何其他有意义的语言片段。
在模型训练或推理之前,文本数据会经过预处理,包括分词,这个过程涉及将文本字符串分割成一系列的token,模型通过学习token之间的关系来理解语言的模式。
影响token消耗的因素:
1、文本长度。消耗token数量与输入文本长度直接相关,文本越长,消耗的token也就越多。
2、模型的复杂度。不同的模型会以不同的方式处理token,比如一些模型可能需要更多的上下文信息,因此会消耗更多的token。
3、并发请求的数量。在多用户环境中,如果多个请求同时发送到模型,每个请求都会消耗一定数量的token,因此高并发请求会加速token的消耗。
数据标注的概念
数据标注是大模型训练中至关重要的步骤,它涉及到对原始数据进行分类、标记或注释,以便模型可以学习并做出预测。不同类型的大模型(如文本类和图像类)需要不同的数据标注方法。
1、生成式问答类大语言模型(如gpt、文心一言、kimi等)
数据标注即合理构建问答对,针对原始数据,我们从多角度对其生成简洁、核心的问题描述,然后根据已有数据整理其对应答案,标注出问题和答案的对应关系,符合一定的{Q,A}格式完成数据标注过程。
2、图像识别(分类)类大语言模型
常见的包括目标检测、图像分割、图像分类、关键点标注等。
目标检测:为图像中的对象绘制边界框,并标注对象的类别。例如,在一张包含多辆汽车的图像中,为每辆汽车绘制一个矩形框,并标注它们的类别为“汽车”。
图像分割:对图像进行像素级别的标注,将图像中的每个像素分配到特定的类别。例如,在医学图像中,对病变区域进行精确的分割,标记出肿瘤或其他异常区域。
图像分类:为整个图像分配一个类别标签。例如,将一张图像标记为“猫”或“狗”。这种任务通常用于训练分类模型,以识别图像的主要内容。
关键点标注:标记图像中对象的关键点,例如在面部识别中标记眼睛、鼻子和嘴巴的位置。这对于面部识别和姿势估计等任务非常重要。
3、图像生成类大语言模型
文生图类大模型用户可以通过描述来生成符合心意的图像,因此我们在数据标注过程中,需要对原始的图像数据生成准确的文本描述。这些描述应该详细且全面地覆盖图像中的主要元素。例如,对于一张包含狗、球和草地的图像,描述可以是:“一只金毛犬在绿色的草地上玩着一个红色的球。”
训练和推理的概念
训练是模型学习从数据中提取特征和模式的过程。训练的目的是调整模型的参数,使其能够准确地预测或分类新的、未见过的数据。
推理(也称为模型推理或预测)是模型训练完成后,使用模型对新数据进行预测的过程。在推理阶段,模型不再学习新信息,而是应用其已训练的参数来处理输入数据并生成输出。推理是模型实际应用的阶段,不再进行参数更新。
因此训练比推理要求更高的计算资源,但推理对延迟和响应时间有更高的要求。
量化的概念
这个我有在一篇博客中详细介绍过量化和大模型精度的关系,大家可以看一下。
https://blog.csdn.net/qq_44812718/article/details/141675145?spm=1001.2014.3001.5501
下期给大家详细讲一讲Prompt工程、微调、RAG等概念。