AI大模型开发架构设计（3）——如何打造自己的大模型

最新推荐文章于 2024-04-26 19:13:11 发布
置顶 最新推荐文章于 2024-04-26 19:13:11 发布
阅读量1.8k 收藏 25
点赞数 22
分类专栏： AIGC 文章标签： AIGC 大模型 LangChain主要功能 LangChain核心组成 Fine-tuning 微调
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangwei234/article/details/135737358
版权

文章目录

如何打造自己的大模型

1 新时代职场人应用AIGC的5重境界

  • 第一、简单对话 + Ctrl-C/V 结果：人人都行
  • 第二、Prompt Engineering：系统掌握 Prompt 提示词技能，赋能工作真正提效
  • 第三、把AIGC融入业务流程，指挥AIGC做复杂任务：掌握好 AIGC 技能、真正懂业务领域知识
  • 第四、拥有自己的大模型：懂大模型原理、基于开源大模型微调（Fine-tune）、有行业数据壁垒
  • 第五、参与设计训练大模型：OpenAI等大模型公司

思考：自己处于哪种境界？

2 人人需要掌握的大模型原理

职场人都能听懂的大语音模型的训练过程

image.png

  • 第一阶段：传统的有监督训练
  • 第二阶段：奖励模型
  • 第三阶段：运用奖励模型，一问一回答一打分，不断进行反馈迭代强化学习
职场人都能听得懂的大语言模型的Transformer推理过程
  • Transformer：在 Transformer 之前，最大的问题就是遗忘（记不住上下文信息）

image.png

  • Transformer：通过**注意力机制（Attention）**解决遗忘问题
    • The：第一个，前面没有关联
    • FBI：前面会关联 The
    • is：前面会关联 FBI
    • chasing：前面会关联 FBI、is
    • …

image.png

  • Transformer：整个流程设计（大模型的核心）——2017年提出

image.png

  • Transformer：Encoder 将输入“序列”中的信息提取出来

image.png

  • Transformer：Encoder-Attention 将重要信息提取出来

image.png

  • Transformer：Encoder-Attention 将重要信息提取出来，会有一些更复杂的计算细节

image.png

3 如何构建自己的大模型

需要具备三个方面的能力
  • Prompt Engineer（提示词工程）
  • LangChain（一个框架的名字）
  • Fine-tuning（微调）
LangChain是什么？
  • 面向大模型的开发框架
  • 简单实现复杂功能的 AIGC 应用
  • 多组件封装

image.png

  • LangChain 推荐资料：https://wx.zsxq.com/dweb2/index/topic_detail/211842521158511
LangChain主要功能

image.png

LangChain核心组成
  • 组件
  • 封装
  • 模块

image.png

  • LangChain 核心组成：I/O模块
    • Prompts：主要管理、协助构建送入 Model 的输入
    • Language Modes：用何种 Model
    • Output parsers：解析输出结果

image.png

  • LangChain 核心组成：I/O模块流程
    • Prompts：归一化
    • Language Modes：预测
    • Output parsers：归一化

image.png

  • LangChain 核心组成：数据链路（Data Connection）模块
    • Source：支持各种异构数据源
    • Load：加载
    • Transform：变换
    • Embed：向量化
    • Store：存储向量数据库
    • Retrieve：检索

image.png

  • LangChain 核心组成：数据链路（Data Connection）模块——Load

image.png

  • LangChain 核心组成：数据链路（Data Connection）模块——Transform

image.png

  • LangChain 核心组成：数据链路（Data Connection）模块——Embed

image.png

  • LangChain 核心组成：数据链路（Data Connection）模块——Embed-相识度核心原理（“向量”距离）

image.png

  • LangChain 核心组成：数据链路（Data Connection）模块——Vector Store

image.png

image.png

  • LangChain 核心组成：记忆（Memory）模块，针对多轮对话强相关

image.png

image.png

image.png

image.png

讲文明的喜羊羊拒绝pua
关注
  • 22
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
深入了解AI大模型应用开发
禅与计算机程序设计艺术
01-17 428
1.背景介绍 AI大模型应用开发是一项具有挑战性和前沿性的技术领域。随着计算能力的不断提高，人工智能技术的发展也不断推进。AI大模型应用开发涉及到多种技术领域，包括机器学习、深度学习、自然语言处理、计算机视觉等。 在过去的几年里，AI大模型应用开发取得了显著的进展。例如，在自然语言处理领域，GPT-3是OpenAI开发的一个大型语言模型，
中文版多角度对大语言模型综述
05-31
自从 20 世纪 50 年代图灵测试被提出以来，人类一直在探索如何用机器掌握语言智能。语言本质上是一种由语法规则支配的复杂 的人类表达系统，开发有能力理解和掌握一门语言的人工智能（AI）算法是一个重大挑战。作为一种主要的语言理解和生成方法，语言建模 在过去的二十年中得到了广泛的研究，其从统计语言模型发展为神经语言模型。近年来，通过在大规模语料库上预训练，基于 Transformer 架构的预训练语言模型在解决各种自然语言处理任务方面表现出强大的能力。由于研究人员发现扩大模型规模可以提高模型能力，因此 他们通过将参数增加到更大的尺寸来进一步研究该效应。有趣的是，当参数规模超过一定水平时，这些规模扩大的语言模型的性能不仅得 到了显著提升，而且还表现出一些小规模语言模型（如 BERT）所不具备的特殊能力（如上下文学习）。为了区分不同参数规模下的语言 模型，研究团体创造了术语——大语言模型（LLM）代指大型的预训练语言模型（如包含数百亿或数千亿个参数）。近年来，学术界和业 界极大的推进了针对大语言模型的研究，并在该方向取得了显著的进展
Python从零开始进行AIGC大模型训练与推理
叶子的博客
04-17 5618
本专栏将详细介绍从零开始进行AIGC大模型训练与推理，包括文本生成（GPT系列）和图片生成（Stable Diffusion系列）等，初步计划从以下提纲逐步进行博文分享，欢迎关注。（8）Stable Diffusion原理介绍、训练、推理、部署。（9）ControlNet原理介绍、训练、推理、部署。（6）ChatGPT原理介绍、训练、推理、部署。（7）ChatGLM原理介绍、训练、推理、部署。（4）GPT2原理介绍、训练、推理、部署。（5）GPT3原理介绍、训练、推理、部署。
未来已来，掌握AI大模型应用开发技巧！
广州硅基技术的博客
03-08 318
要想开发出高质量的AI大模型应用，开发人员需要对深度学习相关的知识有清晰的了解，包括神经网络结构、损失函数、优化算法等。另外，数据的质量和数量对于AI大模型的性能也有着至关重要的影响。此外，还需要注意数据的标注质量和数据的平衡性，避免模型在面对新数据时出现过拟合或欠拟合的情况。总之，开发AI大模型应用是一个复杂而繁琐的过程，需要开发人员具备扎实的理论基础和丰富的实践经验。只有不断地学习和实践，才能更好地掌握AI大模型应用开发技巧，为未来的人工智能应用开发贡献自己的力量。
AIGC工具系列之——基于OpenAI的GPT大模型搭建自己的AIGC工具
weixin_38251305的博客
03-26 1368
GPT大模型，AIGC工具教学，目前热门的AI话题
【AIGC扫盲】人工智能大模型快速入门
weixin_38650077的博客
02-01 944
这是一个由Google Brain团队开发的开源库，用于进行高性能数值计算，特别是用于训练和运行深度学习模型。TensorFlow提供了一种称为计算图的编程模型，它允许用户定义复杂的计算并自动计算梯度。此外，TensorFlow还提供了一组丰富的工具，用于可视化模型的结构和性能。：这是一个由Facebook的AI研究团队开发的开源库，用于进行深度学习和其他形式的机器学习。与TensorFlow相比，PyTorch的设计更加灵活和直观，它允许用户在运行时更改计算图。
Docker AIGC等大模型深度学习环境搭建（完整详细版）
叶子的博客
04-21 6493
本文是《》（https://blog.csdn.net/suiyingy/article/details/130169592）专栏的一部分，所述方法和步骤基本上是通用的，不局限于AIGC大模型深度学习环境。ChatGPT、Stable Diffusion等大模型属于相对较新的模型，所以依赖的Pytorch经常为torch1.12以上版本。相应的CUDA版本则至少为CUDA 11.3，并且显卡驱动对应的CUDA版本号不能小于CUDA库的版本号。下面将以CUDA 11.8驱动安装为例。
零基础，零成本，部署一个属于你的大模型
蛮三刀酱
04-22 6791
因此，本文是为AI初学者们（包括我自己）编写的保姆级大型模型部署和使用指南。现在正值阿里云免费试用计划，我们可以不花一分钱就可以体验部署自己的大型模型的乐趣。
设计、训练、测试、部署，用Python手把手开发AI模型
weixin_39915649的博客
06-02 2412
释放 ML 模型的力量：使用 Python 进行设计、训练、测试和部署的指南
AI大模型基础环境搭建
qq_42778289的博客
10-24 2831
简单描述一下本文章里会教大家做的东西1、搭建大模型基础环境2、fastapi 封装接口 + 前端页面，做自己的语言模型3、github地址： https://github.com/lisiqil/start-chart本人手里也没有合适跑AI模型的机器，是在腾讯云上薅了一个新用户的福利，几十块租了一星期练手。后面机器到期了所以没法发链接给读者亲身体验，不过一些步骤有截图记录，同时项目上传了github仓库，会提供git地址。跑了 starchat（语言模型） 和 clip（图像识别）两个模型。
AI大模型开发架构设计（7）——人人都需要掌握的AI编程及应用案例实战
yangwei2048的博客
02-02 1045
从机器语言到人类语言，越来越 简单化、智能化、降本增效、提质。
大模型开发(十六)：从0到1构建一个高度自动化的AI项目开发流程(中)
无敌小怪兽_Zz的博客
08-03 2191
本文作为构建高度自动化AI项目开发流程的第二步优化，通过LtM提示流程，解决了根据用户需求，自动构建符合要求的函数，并通过示例一步一步的完整测试了code_generate函数功能。
人工智能项目资料-“谛听”声纹识别——基于Tensorflow架构深度学习声纹识别系统.zip
02-02
【探索人工智能的宝藏之地】 无论您是计算机相关专业的在校学生、老师，还是企业界的探索者，这个项目都是为您量身打造的。无论您是初入此领域的小白，还是寻求更高层次进阶的资深人士，这里都有您需要的宝藏。不仅如此，它还可以作为毕设项目、课程设计、作业、甚至项目初期的立项演示。 【人工智能的深度探索】 人工智能——模拟人类智能的技术和理论，使其在计算机上展现出类似人类的思考、判断、决策、学习和交流能力。这不仅是一门技术，更是一种前沿的科学探索。 【实战项目与源码分享】 我们深入探讨了深度学习的基本原理、神经网络的应用、自然语言处理、语言模型、文本分类、信息检索等领域。更有深度学习、机器学习、自然语言处理和计算机视觉的实战项目源码，助您从理论走向实践，如果您已有一定基础，您可以基于这些源码进行修改和扩展，实现更多功能。 【期待与您同行】 我们真诚地邀请您下载并使用这些资源，与我们一起在人工智能的海洋中航行。同时，我们也期待与您的沟通交流，共同学习，共同进步。让我们在这个充满挑战和机遇的领域中共同探索未来！
AI大语言模型架构图.rar
09-02
什么是大型语言模型？ 当我们谈论大型语言模型时，我们指的是一种能够以类似人类语言的方式“说话”的软件。这些模型非常惊人——它们能够获取上下文并生成不仅连贯而且感觉像是来自真实人类的回复。 这些语言模型通过分析大量的文本数据并学习语言使用的模式来工作。它们利用这些模式生成的文本几乎无法与人类所说或写的内容区分开来。 如果您曾与虚拟助手进行聊天或与人工智能客户服务代理进行互动，您可能会在不知不觉中与大型语言模型互动过！这些模型有广泛的应用，从聊天机器人到语言翻译到内容创作等。 一些最令人印象深刻的大型语言模型由OpenAI开发。例如，它们的GPT-3模型拥有超过1750亿个参数，能够执行摘要生成、问答甚至创作等任务！如果您仍然不确定这样的模型有多好，我建议您自己尝试一下Chat GPT。 第一个大型语言模型是什么？ 正如我们前面提到的，当谈论大型语言模型时，我们基本上是在谈论擅长生成类似人类语言的软件。真正引起人们关注的第一个模型是OpenAI于2018年开发的GPT（Generative Pre-trained Transformer）模型。
2023最新AI大模型学习与讨论
01-17
2023最新AI大模型学习与讨论：探索未知的智能边界！ 迎接2023年，AI领域正迎来一场革命性的学术盛宴！我们诚邀您加入“2023最新AI大模型学习与讨论”——这是一个汇聚顶尖智能科学家、工程师和学者的独特平台，将AI的最新进展推向更高的高度。 在这里，您将深入了解2023年最激动人心的AI大模型，通过与同行的交流，共同揭开智能技术的神秘面纱。我们将探讨自然语言处理、计算机视觉、强化学习等领域的前沿研究，分享最新的模型架构、算法和应用案例。 无论您是刚踏入AI领域的新手，还是经验丰富的专业人士，这个学习与讨论的平台都为您提供了一个开放、包容的环境，让您可以与全球最杰出的思想领袖互动，共同推动AI技术的发展。 别错过这个与全球顶级AI专家交流见解的机会！加入我们，共同塑造未来智能的面貌，探索AI大模型的无限可能性！ 看完可以了解AI大模型及微调概念、学以致用，走在技术最前沿
AIGC技术/趋势
比起日出，我更喜欢日落。我的意思是比起遇见你，我更喜欢与你终老
04-24 572
未来，随着技术的不断进步和应用的深入，AIGC技术还将在更多领域发挥重要作用，推动社会的创新和进步。因此，我们需要在推动AIGC技术发展的同时，加强对其伦理和风险的关注，制定相应的法规和监管措施，确保技术的健康发展。它可以基于训练数据和生成算法模型，自主生成创造新的文本、图像、音乐、视频、3D交互内容等各种形式的内容和数据，以及包括开启科学新发现、创造新的价值和意义等。AIGC技术，作为人工智能领域的一个新兴分支，正在以其强大的生成能力和广泛的应用前景，逐渐引起人们的关注。
AIGC技术：开启内容创作新纪元，伦理风险与未来展望
2303_77556681的博客
04-25 309
AIGC技术在多个行业中都表现出了显著的应用价值。同时，技术本身也需要不断创新，例如通过算法的透明度和可解释性来提高公众信任，以及通过技术的改进来减少偏见和误导信息的产生。同时，随着AI技术的普及和民主化，未来每个人都有可能成为内容的创造者，而不仅仅是消费者。综上所述，AIGC技术是一个充满潜力和挑战的新兴领域，它的发展将深刻影响未来社会的方方面面。未来，AIGC技术可能会向更深层次的智能化发展，例如通过深度学习技术实现更加自然和人性化的交互体验，以及通过增强现实和虚拟现实技术创造更加沉浸式的内容体验。
如何看待AIGC技术？
嫦娥妹妹等等我的博客
04-24 389
AIGC技术的快速发展带来了许多有趣的机遇和挑战。1. **版权和归属问题**：AIGC技术在生成内容时，可能会涉及到版权和知识产权的问题，例如，AI模型可能在未经授权的情况下使用已有的艺术作品或文本作为训练材料。1. **提高效率**：AIGC可以自动化许多创作过程，从而提高内容生产的效率，尤其是在内容需要大规模生产的场合，如新闻发布、社交媒体内容制作等。3. **伦理和社会影响**：AIGC技术的使用可能会影响传统创作行业的就业，同时，AI生成的内容如何影响公众意见和文化发展也是需要考虑的问题。
AIGC的发展历程
最新发布
beautifulmemory的博客
04-26 395
AI生成内容（AIGC）的发展历程可以追溯到20世纪50年代，当时人工智能（AI）的概念还处于起步阶段。然而，AIGC技术的快速发展主要集中在21世纪初，特别是随着深度学习、自然语言处理和其他相关领域的突破。AIGC技术的发展历程表明，随着计算能力的提升、数据量的增加和算法的不断进步，AIGC技术在生成质量、多样性和创造力方面取得了显著的进展。未来，随着技术的不断发展和应用的不断拓展，AIGC技术将在更多领域发挥重要作用。
ai大模型应用开发实战指南
01-04
随着人工智能技术的不断发展，AI大模型的应用开发成为了当前最热门的趋势之一。AI大模型具有强大的计算能力和深度学习算法，能够处理复杂的任务和大规模的数据。在实际的应用开发中，我们需要掌握一些实战指南来更好地利用AI大模型。 首先，我们需要明确自己的应用需求和目标。AI大模型功能强大，但并不是对所有的应用都适用。因此，我们需要针对具体的应用场景来选择合适的AI大模型，确保其能够满足我们的需求。 其次，我们需要具备一定的技术能力和知识。AI大模型的应用开发涉及到深度学习、神经网络等高级技术，因此需要有一定的编程能力和算法知识。同时，我们还需要了解AI大模型的特点和使用方法，对其进行深入的学习和研究。 另外，我们还需要关注数据的质量和数量。AI大模型的训练需要大量的数据支持，因此我们需要具备数据收集、清洗和标注的能力，以及对数据进行合理的管理和利用。 最后，我们需要进行系统的测试和优化。在应用开发的过程中，我们需要不断地进行测试，发现问题并进行调整和优化，以确保AI大模型的稳定性和性能。 总的来说，AI大模型应用开发需要我们具备综合的技术能力和知识，同时需要结合具体的应用需求和场景，进行系统的规划和实施，从而更好地利用AI大模型的优势。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

讲文明的喜羊羊拒绝pua

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值