LoRA、Prompt…，在AI圈外也必须要知道的几个新词

最新推荐文章于 2024-06-05 14:18:06 发布

梦码在路上

最新推荐文章于 2024-06-05 14:18:06 发布

阅读量95

点赞数

文章标签：人工智能 prompt

本文链接：https://blog.csdn.net/dasdasdasddddd/article/details/131881686

版权

如果说2023年什么最火，AI是当仁不让的第一。和AI有关的一切：AI聊天、语音、绘画、视频…刷爆了所有我们能接触到的社交媒体和新闻渠道。

ChatGPT虽然很有武德，把其他热点也总结了出来，但还是悄咪咪地把人工智能放到了第一位。

但对非程序员群体来说，AI是有门槛的，至少现阶段是。即便不去使用，只是想和朋友同事聊聊这AI盛世，但好像只聊抖音上AI生成的小姐姐，也略显不上档次，格调不足。

那么如何在聊天中脱颖而出、引领话题，既能彰显学识渊博，又能点到即止，深藏功与名？很简单，学会这几个AI圈最火的单词，快速让你成为人群中最亮的那颗星。

01、LoRA

LoRA的全称是LoRA: Low-Rank Adaptation of Large Language Models。是一种轻量化的模型微调训练方法。

大语言模型一般拥有巨大参数量，如GPT-3有1750亿参数，如果这时需要让GPT学习某个特定领域的内容，就需要对大语言模型做微调，但如果直接对GPT-3做微调，因其巨大的参数量，每项微调都会产生巨大的成本和工作量。

LoRA的作用在此时显现，LoRA冻结了预训练模型的权重，并在每个 Transformer 块中注入可训练层，因为不需要大多数模型参与计算，所以大大降低了需要训练的参数量和对GPU硬件的要求。

简单来说，为了避免所有对大语言模型的训练都要调用所有参数，LoRA剥离出需要参与训练的部分，并只对这部分进行修改，大语言模型中的其他部分保持不动，从而降低了工程量和成本。

尽管 LoRA 最初是为大模型提出的，但该技术也可以应用于其他地方，比如近期大火的AI绘画中。

比如在Stable Diffusion中，LoRA使对Stable Diffusion微调工作变得简单且安全，并带来了这些好处：

更快的训练速度
计算要求较低。可以在具有 11 GB VRAM 的 2080 Ti 中创建一个全微调模型！
小了很多的训练模型。

结果是，现在任何人都可以到C站，即https://civitai.com/，下载一个LoRA模型，生成自己喜欢风格的小姐姐。

02、Checkpoint

对于模型作者而言，训练模型通常指生成 Checkpoint 文件。这些文件包含了模型参数和优化器状态等信息，是训练过程中定期保存的状态快照。

对于使用者而言，可以将 Checkpoint 文件理解为一种风格滤镜，例如油画、漫画、写实风等。通过选择对应的 Checkpoint 文件，您可以将 Stable Diffusion 模型生成的结果转换为您所选择的特定风格。需要注意的是，一些 Checkpoint 文件可能需要与特定的低码率编码器（如 Lora）配合使用，以获得更好的效果。

在下载 Checkpoint 文件时，您可以查看相应的模型简介，通常作者会提供相应的文件和说明事项，以帮助您更好地使用和理解该文件。

总之，Checkpoint 文件是 Stable Diffusion 模型训练过程中定期保存的状态快照，使用者可以将其理解为一种风格滤镜，用于将模型输出结果转换为特定的风格。在使用 Checkpoint 文件时，需要注意文件的匹配和相应的使用说明

03、embedding

如果你有做过 UI 的经验，那么你应该知道组件的概念。在 Stable Diffusion 中，embedding 技术就可以被理解为一种组件，它可以将输入数据转换成向量表示，方便模型进行处理和生成。

举个例子，如果我们想要生成一个开心的皮卡丘，通常需要输入很多描述词，如黄毛、老鼠、长耳朵、腮红等等。但是，如果引入皮卡丘的 embedding，我们只需要输入两个词：皮卡丘和开心。皮卡丘的 embedding 打包了所有皮卡丘的特征描述，这样我们就不用每次输入很多单词来控制生成的画面了。

在日常使用中，embedding 技术通常用于控制人物的动作和特征，或者生成特定的画风。相比于其他模型（如 LORA），embedding 的大小只有几十 KB，而不是几百兆或几 GB，除了还原度对比 lora 差一些但在存储和使用上更加方便。

总之，embedding 技术将输入数据转换为向量表示，为模型的处理和生成提供了便利。通过使用 embedding，我们可以更加轻松地生成符合预期的样本，而不需要手动输入大量的描述词汇。

04、fine-tuning

fine-tuning是微调的意思，是用别人训练好的模型(即pre-trained model)，加上我们自己的数据，来训练新的模型。fine tune相当于使用别人的模型的前几层，来提取浅层特征，然后在最后再落入我们自己的分类中。

一般来说我们自己需要做的方向，比如在一些特定的领域的识别分类中，我们很难拿到大量的数据。因为像在ImageNet上毕竟是一个千万级的图像数据库，通常我们可能只能拿到几千张或者几万张某一特定领域的图像，比如识别衣服啊、标志啊、生物种类等等。在这种情况下重新训练一个新的网络是比较复杂的，而且参数不好调整，数据量也不够，因此fine-tuning微调就是一个比较理想的选择。