大模型应用开发-大模型token等基本概念及参数和内存的关系

大模型相关目录

大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。

1. 大模型应用向开发路径及一点个人思考
2. 大模型应用开发实用开源项目汇总
3. 大模型问答项目问答性能评估方法
4. 大模型数据侧总结
5. 大模型token等基本概念及参数和内存的关系

---

---

SOTA：State of the Art 业内最优水平，最先进的技术。

AIGC：狭义概念是利用AI自动生成内容的生产方式。广义的AIGC可以看作是像人类一样具备生成创造能力的AI技术，即生成式AI，它可以基于训练数据和生成算法模型，自主生成创造新的文本、图像、音乐、视频、3D交互内容等各种形式的内容和数据，以及包括开启科学新发现、创造新的价值和意义等。

LLM：大语言模型（large language model ），基于海量文本数据训练的深度学习模型。

token：根据事先定义好的编码算法对应出来的最小文本输入单元，一个token可以是一个单词，也可以是字符块。因此文本数据集长度和token只是正相关而非严格对应。

prompt：“提示词”，在AI大模型中，Prompt的作用主要是给AI模型提示输入信息的上下文和输入模型的参数信息。本质是起到提示作用的长token。

chatGLM 7B：一般指参数的个数，B是Billion/十亿的意思，175B是1750亿参数。

int float：一般有fp32、fp16、bf1