如何给AI大模型喂数据？

最新推荐文章于 2025-03-12 11:42:16 发布

脱泥不tony

最新推荐文章于 2025-03-12 11:42:16 发布

阅读量4.5k

点赞数 16

文章标签：人工智能大语言模型自然语言处理语言模型 AI大模型大模型 LLM

本文链接：https://blog.csdn.net/2401_85378759/article/details/145052055

版权

如果我想要大模型学习我的知识，怎么给他数据呢？

❝

数据是大模型的食物，只有喂对了，模型才能更好地学习和成长。

这里介绍大模型优化的三种方式：长文本提示，RAG，微调。

长文本提示

❝

比如我们上传一篇文章，发给大模型让他总结一下里面的内容，这个就是长文本提示。

我们上传的这篇文章，跟我们的提示词拼接后，会一起发给大模型。

这个长文本数据，它只能在你的这个对话窗口内有效，而且还不能超过它模型本身支持的上下文长度。

在问答系统、内容创作等任务中，提示词可以显著提升模型的表现。

RAG（检索增强生成）

❝

RAG 就是我们经常听到的知识库。

这个知识库就好比我们写论文的时候，在图书馆里有一大堆书，当你开始写某个主题的时候。

你才会根据你的需要去把那些相关的书籍段落都找出来参考和引用。

RAG 的知识库数据就是单独放在外面，提什么问你就去搜什么数据，跟我们写论文很像。

在问答系统中，RAG可以利用最新的数据和信息来生成更准确的答案，弥补大模型在知识更新方面的不足。

微调（Fine-Tuning）

❝

其实微调中的数据才是直接给大模型喂进去。

微调大模型是把你喂进去的数据消化成了规律，固定在它的参数里。

其实在微调之前，真正做大模型的厂商已经做过了一步，叫做预训练。

这一步用了大量的算力数据让他有了基础知识。

微调它是把接收到的信息压缩成了一种规律，把它记住。

那以后能沿着这个规律去做推测。

当需要模型在特定领域或任务中表现更佳时，微调是理想的选择。

例如，在医学领域，通过微调可以让模型更好地理解和生成医学文本。

总结：大模型的学习方式就像选课，文本提示是旁听，RAG是图书馆查资料，微调是请家教。

有啥其他补充的内容，欢迎在评论区留言讨论。

❝

想看技术文章的，可以去我的个人网站：http://hardyfish.top/。

目前网站的内容足够应付基础面试（P6）了！

每日一题

题目描述

❝

给你一个二叉搜索树的根节点 root ，返回 树中任意两不同节点值之间的最小差值 。

差值是一个正数，其数值等于两值之差的绝对值。

解题思路

❝

中序遍历目标二叉搜索树，每轮计算相邻节点的差值，并取最小。

在二叉搜索树中，左 < 根 < 右。

因此，最小差值，一定是相邻两个节点的差值。

而中序遍历，则保证了上一轮遍历的根与当前遍历的根相邻(为父子关系)。

代码实现

Java代码：

class Solution {
    private int preNodeValue = -1;
    private int result = Integer.MAX_VALUE;
    public int getMinimumDifference(TreeNode root) {
        inorder(root);
        return this.result;
    }
    private void inorder(TreeNode root) {
        if (root == null) {
            return;
        }
        inorder(root.left);
        if (this.preNodeValue != -1) {
            // 因为是 二叉搜索树，且为 中序遍历
            // 因此 左 > 根 > 右，(root.val - this.preNodeValue) 必为正值
            this.result = Integer.min(root.val - this.preNodeValue, this.result);
        }
        this.preNodeValue = root.val;
        inorder(root.right);
    }
}

在大模型时代，我们如何有效的去学习大模型？

现如今大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。
在这里插入图片描述

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也_想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把都打包整理好，希望能够真正帮助到大家_。

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，下面是我整理好的一套完整的学习路线，希望能够帮助到你们学习AI大模型。

在这里插入图片描述

第一阶段：从大模型系统设计入手，讲解大模型的主要方法；

第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。