阿里云百炼构建私有知识问答应用

已于 2025-02-19 10:47:30 修改
阅读量3.3k 收藏 50
点赞数 44
分类专栏： 大模型 文章标签： 阿里云 python 人工智能 语言模型
于 2025-02-18 01:13:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81658352/article/details/145695031
版权

阿里云百炼构建私有知识问答应用

一、创建应用

  • 登录阿里云百炼控制台 https://bailian.console.aliyun.com/ ；

  • 选择我的应用；
    在这里插入图片描述

  • 点击新建应用；
    在这里插入图片描述

  • 选择直接创建；
    在这里插入图片描述

  • 创建完成后进入如下智能体应用界面，点击红框中的编辑修改应用的名称：
    在这里插入图片描述

  • 设置应用名称后点击确定；
    在这里插入图片描述

  • 可以看到名称已经改变，然后点击选择模型；
    在这里插入图片描述

  • 在弹出的界面中点击选择模型，以下是参数配置说明；

    • 温度系数：调控生成的多样性。范围0~2，数值越大，模型的回答越天马行空；数值为0时，大模型就成了绝对的“守旧派”。
    • 最长回复长度：模型生成的长度限制，不包含prompt。允许的最大长度因模型不同有所改变。
    • 携带上下文轮数：设置输入模型的最大历史对话轮数，轮数越多，对话相关性越强。
      在这里插入图片描述

  • 以通义千问-MAX为例（也可以是其他自己喜欢的模型），选择通义->点击通义千问-MAX->点击右侧模型->点击确定；
    在这里插入图片描述

  • 可见选择模型一栏中已经存在自己所选的通义千问-MAX 32K模型；随后设计提示词（Prompt），它的作用是告诉智能助手它的身份是什么；
    在这里插入图片描述

  • 以医生为例，在Prompt（提示词）中输入以下信息，起码包括角色设定，也可以输入知识范畴、回答风格、与示例问题与回答，以下提示词仅作为例子，写得比较简陋；
    在这里插入图片描述

  • 也可以填写完Prompt后点击右上角的优化，系统自动丰富提示词内容，优化完毕点击使用，如果不满意优化结果，也可以点击重新优化；
    在这里插入图片描述

  • 进行小测试，在右侧对话框输入“我头疼”，观察回复：
    在这里插入图片描述

    二、创建知识库

  • 分别打开知识库检索增强、Prompt样例库、长期记忆三个开关，让智能体应用更“聪明”；也可以跳过此步，不进行配置；

    • 知识库检索增强：设置该选项可以让智能体应用知识储备更大；
    • Prompt样例库：可以让智能体应用更容易和人沟通；
    • 长期记忆：可以让智能体的记忆力更好；

  • 设置知识库检索增强的检索配置：

    • 1.检索配置：点击跳出右侧界面；
    • 2.互联网搜索：开启可在互联网搜索信息；这里我选择关闭；
    • 3.知识库拼装策略：更方便高效地从知识库找信息；这里我选择按召回数量；
      • 按召回数量：假如自己心里有数，知道大概要从知识库找多少信息，就用这个方法。这种方法适合你对输入的信息数量和排列方式有明确想法的情况，比如写报告要固定数量的参考资料；
      • 智能拼装：要是想让模型帮自己做选择，这个方法就很合适。只要设定好提示内容的总长度，以及每个 “信息块” 的长度，模型会自己聪明地计算，找出最适合的 “信息块” 组合。这样能充分利用输入的空间，既保证信息完整，又能提高输入效率，就像把拼图碎片巧妙地拼在一起，不多不少刚刚好；
    • 4.回答范围设定：设置智能体从哪里找答案，有点类似于考试模式。这里我选择知识库+大模型知识；
      • 知识库+大模型知识类似于开卷考试，智能体将在**脑子（知识库）里和参考资料（上述所选择的大模型）**中搜索答案；
      • 仅知识库范围类似闭卷考试，智能体只在**脑子（知识库）**里搜索答案；
      • 如果再开启互联网搜索，那就是平时写作业，既能找参考资料，还能互相讨论；
    • 5.展示回答来源：展示回答的来源；
      在这里插入图片描述

  • 接下来该设置知识库检索增强的配置知识库；但别急，先导入知识库文件；在另一个“阿里云百炼”控制台中点击“数据管理”，在弹出的界面中点击“导入数据”；
    在这里插入图片描述

  • 在导入数据界面中，选择点击或拖拽上传文件，选择文件后点击确认；
    在这里插入图片描述

  • 可见默认类目中增加一个文件，查看文件状态由解析中转换为导入完成；
    在这里插入图片描述

  • 回到刚才的设置中，设置知识库检索增强的配置知识库：点击配置知识库，在右侧弹出的页面中选择创建新知识库；同时在网上下载一份医疗相关的文件作为知识库（非必须）；也可以不下载，此时智能体将用大模型知识回答；
    在这里插入图片描述

  • 在跳转的页面中配置知识库名称、知识库描述、数据类型、配置模式、向量存储类型；配置完毕点击下一步；

    • 知识库名称：知识库的名字；
    • 知识库描述：描述知识库的内容；
    • 数据类型：结构化数据形式规整，计算机处理方便；非结构化数据形式多样，大量非结构化数据需要计算机预处理；这里我上传PDF格式的文档，选择非结构化数据；
    • 配置模式：推荐配置是官方经过测试后的最佳配置，自定义是用户个人选择的配置方式；
    • 向量存储类型：内置通常是大模型或相关框架自身所包含的向量存储功能；ADB-PG是阿里云的云原生数据仓库 AnalyticDB PostgreSQL 版；这里采用内置；
      在这里插入图片描述
      在这里插入图片描述

  • 点击选择文件可查看之前导入的文档；选中文档后点击下一步；
    在这里插入图片描述

  • 不做设置直接点击导入完成；
    在这里插入图片描述

  • 知识库导入完成界面如下：
    在这里插入图片描述

三、为应用添加知识库

  • 回到阿里云百炼控制台，选择我的应用，点击管理；
    在这里插入图片描述

  • 回到熟悉的应用界面，点击配置知识库，选择添加（添加成功后图标变为灰色已添加，鼠标移至上方显示红色移除）；
    在这里插入图片描述

  • 配置完成后可见左下侧的知识库检索增强中存在肝病知识库，在右侧对话窗口中可以与智能体应用对话（输入token有点多）；
    在这里插入图片描述

  • 关闭知识库检索增强，关闭长期记忆（清除对上文的记忆），然后再问相同的问题，不难发现智能体应用的回答方式有了改变；
    在这里插入图片描述

  • 调试完毕，可以选择发布应用；
    在这里插入图片描述

  • 发布完成后，我们可以在右上角测试版与发布版中切换（未发布时发布版置灰且不可选）；
    在这里插入图片描述

  • 回到我的应用可以发现应用状态为已发布，未发布时为白色草稿标识；应用下方显示调用，未发布时标识置灰；
    在这里插入图片描述

四、应用调用

  • 在阿里云百炼控制台我的应用中选择对应的应用，点击调用；
    在这里插入图片描述

  • 在发布渠道中选择官方分享渠道下的创建；
    在这里插入图片描述

  • 在弹出的页面中，点击右上角的编辑页面；
    在这里插入图片描述

  • 编辑右侧配置信息，可以在配置时关注左侧对话框中的内容，两者是互相关联的；配置完毕点击右下角更新；
    在这里插入图片描述

  • 编辑完毕点击右上角预览，开启对话；
    在这里插入图片描述

  • 可以直接点击之前编辑的问题或对话，也可以直接在对话框中输入问题与现象；同时注意右上角的分享链接、预览、编辑页面消失（右上角的小人图标只是一个图标，不能点击，一路搞下来还是能发现一些Bug和体验问题的）；
    在这里插入图片描述

  • 回到发布渠道界面可以发现之前的创建变成了配置，下方增加了预览链接，点击配置进入调试界面可以分享链接；
    在这里插入图片描述

五、其他调用方法——API调用

  • 再介绍第二种调用方法——API调用；点击右侧查看API；
    在这里插入图片描述

  • 滑动滚轮，在右侧找到Python代码，点击复制，复制到Python程序中；
    在这里插入图片描述

  • 注意安装 http 和 dashscope ；api_key 和 app_id 需要修改；
    在这里插入图片描述

  • 获取api_key：进入发布渠道界面，点击右侧 API KEY；

    • 如果没有 API KEY 则点击红框2创建API-KEY，在弹框中添加描述，再点击确定；
    • 如果有 API KEY 则点击查看，随后在红框4处会出现复制字样；
      在这里插入图片描述

  • 点击复制将以 sk 开头的 API-KEY 复制到 Python 程序的 api_key 中；
    在这里插入图片描述

  • 在阿里云百炼控制台我的应用中找到应用ID，将 ID 复制到 Python 程序的 app_id 中；
    在这里插入图片描述

  • 如下图所示，将 API-KEY 、应用ID 分别复制到 Python程序的 api_key 、app_id 中，再将 prompt 填写成想要问的问题，运行程序可以看到图片下方的回答；此外需要注意 api_key 与 app_id 的保密，请勿出示给他人，最好配置在系统变量或 .env 文件中；
    在这里插入图片描述

  • 更换问题为”我腰疼“，运行程序可正常回答；
    在这里插入图片描述

六、删除API-KEY

  • 如果 API-KEY 不再使用可以删除，但是务必谨慎，删除后不可恢复；

  • 在发布渠道界面选择 API KEY ；或在阿里云百炼控制台右上角选择 API-KEY ；
    在这里插入图片描述在这里插入图片描述

  • 点击删除，再在弹框中点击确认；
    在这里插入图片描述
    在这里插入图片描述

七、删除应用

  • 在阿里云百炼控制台选择我的应用，找到欲删除的应用后点击右下角更多，选择删除应用；
    在这里插入图片描述

  • 弹框中选择确认删除即可；
    在这里插入图片描述

LangChain Hub及阿里百炼提示词模版教程
Messi博客
08-22 416
langchain hub langchain smith 及 阿里百炼 提示词模版获取
【四.RAG技术与应用】【11.阿里云百炼应用（上）：RAG在云端的实践】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-04 302
正如阿里云CTO周靖人所说：“百炼的目标是成为大模型时代的‘云上工具箱’，让每个开发者都能低成本解锁AI潜力。”时，RAG会先从内部数据库检索近期的财报、新闻和政策文件，再将相关内容喂给大模型。最终生成的回答不仅包含通用分析，还能引用具体数据（比如某季度特斯拉的营收增长率），避免模型“凭空编造”。这时候，RAG（检索增强生成，Retrieval-Augmented Generation）技术就成了“外挂大脑”。百炼的Assistant API封装了RAG的复杂流程，开发者只需关注业务逻辑。
基于阿里云百炼创建一个知识库应用
weixin_40750082的博客
07-07 696
概述基于大模型做一个知识库，可以自己搭建一个本地大模型，然后做RAG.将知识库库进行向量化查询根据向量查询知识库将知识库作为提示词丢给大模型，大模型处理后返回结果 在本地部署大模型，资源要求比较高，还需要做程序定制。阿里云百炼方案我们可以在阿里云百炼开通一个大模型，它可以创建应用在阿里云百炼创建知识库我们可以在知识库，上传...
阿里云百炼平台创作大模型应用并使用python调用的全过程
qq_72583325的博客
03-09 3363
阿里云百炼平台创作大模型应用并使用python调用的全过程
【AI扩图】基于调用阿里百炼大模型完成
m0_74289770的博客
04-14 1522
大家好，我是jstart千语。今天来给大家如何给系统接入AI大模型，让我们的系统可以增加AI功能。本篇主要是依赖阿里云百炼来讲解，因为它有丰富的模型和应用，也可以自定义一个应用发布，然后调用API使用自己的模型。本篇以AI扩图为例给大家讲解。
阿里云百炼SDK使用教程
gitblog_00320的博客
08-07 1504
阿里云百炼SDK使用教程 alibabacloud-bailian-sdk项目地址:https://gitcode.com/gh_mirrors/al/alibabacloud-bailian-sdk 1. 项目介绍 阿里巴巴云百炼SDK 是一套用于接入阿里云大模型服务平台百炼的开发工具包。它提供了多种编程语言版本（如Java、Python等），方便开发者在自己的应用程序中调用百炼平台的API，...
AI 助理：搭建公众号 AI 牛马，只需10分钟，真比想象中简单！
飞询
01-12 565
如果大家有什么期待的功能，可以在评论区提出来，我会制作一期出来。
阿里云百炼教程--训练属于自己的大模型
m0_58419490的博客
01-09 1674
一、首先进入主页搜索阿里云百炼 二、大模型的选择 三、新建应用 导入自己需要的文档 四、新建知识库 五、测试一下
阿里系-大模型之专属知识问答服务--新系列
阿丹的博客
01-09 551
人工智能逐渐普及，作为一个程序员，需要掌握的技术不只是需要根据大模型的回复和问答来加快问题的解决，更是需要使用大模型来完成一些项目来解决一些问题，因为现在企业转型非常的快。并且更多的企业愿意使用大模型来尝试更快捷、更遍历的方式。程序员更多的是一个创造工具的人员，并且因为程序的可读性以及个性其实对于单个的程序员来说其实是友好的。话不多说，今天来开一个新坑，之前本人也只是针对于大模型只有提问和交互的经历。开始一部一学习来完成一个属于自己的专属知识问答服务。
只需六步，教你从0到1教你搭建个人AI知识库
2401_85328934的博客
12-23 4125
在这个信息爆炸的时代，拥有一个个人AI知识库对于整理、学习和应用知识至关重要。本文将引导你通过五个步骤，从零基础开始搭建起一个高效的个人AI知识库。
大模型初体验-阿里云百炼入门demo
2301_81940605的博客
02-26 4165
阿里云百炼 是一站式的企业专属大模型生产平台，基于通义基础大模型，提供企业专属大模型开发和应用的整套工具链。
【阿里百炼大模型-使用】
zishuijing_dd的博客
11-29 2167
阿里大模型
AI Agent 搭建平台横向对比：Dify、阿里云百炼、Coze
大F子的智能小课
04-14 1066
随着生成式AI技术向行业场景加速渗透，低代码/零代码AI Agent开发平台成为企业智能化转型的核心工具。本文聚焦国内三大主流平台——Dify（苏州语灵）阿里云百炼字节Coze，从技术能力行业适配性商业化路径三大维度展开深度评测，为开发者与企业提供选型参考。三大平台在技术开放性行业适配性生态壁垒Dify代表开发者友好型工具，适合追求技术可控性的团队；阿里云百炼彰显大厂生态优势，成为传统企业智能化改造的“安全选择”；Coze则凭借零代码和流量红利，正在重塑社交场景的AI交互体验。未来竞争焦点将集中在。
【Agent篇】AI Agent 搭建平台横向对比：Dify、阿里云百炼、Coze
大F子的智能小课
03-09 1669
随着生成式AI技术向行业场景加速渗透，低代码/零代码AI Agent开发平台成为企业智能化转型的核心工具。本文聚焦国内三大主流平台——Dify（苏州语灵）阿里云百炼字节Coze，从技术能力行业适配性商业化路径三大维度展开深度评测，为开发者与企业提供选型参考。三大平台在技术开放性行业适配性生态壁垒Dify代表开发者友好型工具，适合追求技术可控性的团队；阿里云百炼彰显大厂生态优势，成为传统企业智能化改造的“安全选择”；Coze则凭借零代码和流量红利，正在重塑社交场景的AI交互体验。未来竞争焦点将集中在。
太卷了，阿里云免费1个月大模型算力额度，玩转Llama3.1/Qwen2等训练推理
老牛啊
07-27 1811
阿里云百炼平台发布推文，提供30天免费算力额度，助力玩转 Llama3.1 训练推理。老牛同学首当其冲，去体验一把，本文详细记录了整个过程，同时给出了老牛同学的一些想法，欢迎交流学习……
⭐️⭐️⭐️【2025.5真题及参考答案】：大模型Clouder认证：基于百炼平台构建智能体应用 ⭐️⭐️⭐️
最新发布
davidkorhenn的博客
05-17 1108
【摘要】真题「大模型Clouder认证：基于百炼平台构建智能体应用」
基于百炼平台构建智能体应用——十分钟构造能主动提问的导购智能体
Liu_Bruce的博客
11-04 1459
大模型服务平台百炼提供了完善的智能体应用构建功能，包括智能体应用，工作流应用，智能体编排应用等多种应用构建模式，支持在百炼控制台低代码或0代码的方式创建应用，也支持API调用。可以基于业务需求和数据，快速在百炼平台构建一个专属应用，同时部署到不同的终端。本文通过一个简单的RAG应用，介绍如何将百炼应用部署到钉钉的流程。本章将以百炼Multi-Agent架构为核心，展示如何快速部署一个多智能体的导购助手体系。
阿里云百炼将于2023年10月30日起面向新老用户赠送限时免费流量包。有兴趣的可以领取下来玩一玩
weixin_45286211的博客
11-06 1251
在云栖大会现场，周靖人发布一站式大模型应用开发平台——阿里云百炼，该平台集成了国内外主流优质大模型，提供模型选型、微调训练、安全套件、模型部署等服务和全链路的应用开发工具，为用户简化了底层算力部署、模型预训练、工具开发等复杂工作。开发者可在5分钟内开发一款大模型应用，几小时即可“炼”出一个企业专属模型，开发者可把更多精力专注于应用创新。阿里云百炼将于2023年10月30日起面向新老用户赠送限时免费流量包。有兴趣的可以领取下来玩一玩。
大模型初体验-阿里云百炼初级入门demo
yi_chao_jiang的专栏
11-01 7240
阿里云百炼（） 是一站式的企业专属大模型生产平台，基于通义基础大模型，提供企业专属大模型开发和应用的整套工具链。面向对象：客户及ISV的研发/技术人员核心能力：支持大模型训练和微调服务形式：通过API服务输出给客户，方便客户进行集成和使用专属大模型能力应用编排：支持客户打通自己的业务能力API，使得客户可以将专属大模型能力结合进入自己的业务链路本文仅仅是非常简单的尝试，云百炼功能非常强大，欢迎大家一起使用。支持非常多的应用支持多种模型（官方大模型和第三方大模型）支持自己训练模型（
阿里云百炼大模型平台训练专属模型
03-11
<think>好的，我现在需要帮助用户了解如何在阿里云百炼平台上训练定制化模型。首先，我应该回顾用户提供的引用内容，看看里面有没有相关的信息。 根据引用[1]，阿里云百炼已经在多个行业展示出赋能能力，并且提到帮助用户构建专属模型和应用优化。引用[2]详细介绍了百炼的功能，包括支持第三方模型接入、提供模型定制能力，以及通过API和可视化工具简化流程。还提到模型中心、数据中心、权限管理等模块。 接下来，我需要整理出训练定制化模型的具体步骤。首先，可能需要注册并登录平台，然后进入模型定制模块。根据引用中的信息，百炼提供了Prompt优化、知识库管理、函数调用等功能，这些可能和模型训练相关。另外，数据准备是关键，可能需要使用平台的数据中心工具来处理数据，比如清洗、标注等。然后选择基础模型，可能支持预训练模型或者第三方模型。之后进行参数调整，比如学习率、训练轮次等，可能通过可视化界面配置。训练完成后进行验证，并部署到模型中心。另外，引用中还提到支持行业定制化模型，可能需要选择适合的行业模板。 还要考虑用户可能的后续问题，比如数据安全如何保障，训练需要多长时间，或者是否需要编程基础。因此，在回答中需要涵盖这些点，或者在相关问题里提出。 现在需要确保回答结构清晰，分步骤说明，并且引用对应的引用标记。同时，按照用户要求，使用中文，正确应用LaTeX格式，比如变量用$...$，独立公式用$$...$$，但在这个问题中可能涉及数学公式较少，不过如果有的话需要注意。例如，如果提到模型训练中的损失函数，可能需要用$$L = \frac{1}{N}\sum_{i=1}^N (y_i - \hat{y}_i)^2$$这样的格式。 最后生成相关问题，可能包括数据安全、训练时间、是否需要编程、行业模型选择等。确保每个引用来源正确标注，比如在提到数据保护时引用[2]，提到行业应用时引用[1]等。 总结步骤： 1. 准备工作：注册账号，进入控制台。 2. 数据准备：使用数据中心工具处理数据，确保质量和标注。 3. 模型选择：选择预训练模型或第三方模型作为基础。 4. 参数配置：通过可视化界面调整超参数。 5. 训练与调优：启动训练，监控指标，使用Prompt优化工具。 6. 验证部署：测试模型性能，部署到生产环境。 7. 权限管理：设置团队协作和权限。 需要检查是否符合用户的所有要求，包括结构、引用、LaTeX格式等。现在将这些整理成回答。</think>### 如何在阿里云百炼大模型平台训练定制化模型？ 阿里云百炼提供了一套完整的工具链和基础设施，支持用户高效训练定制化模型。以下是具体步骤： --- #### **1. 准备工作** - **注册并登录平台**：进入阿里云百炼控制台，完成账号注册与权限配置[^2]。 - **选择模型类型**：根据需求选择文本、图像或多模态模型类型，平台支持通义千问商业版API及第三方模型（如DeepSeek-V3）的接入[^2]。 --- #### **2. 数据准备** - **上传数据集**：通过**数据中心**模块上传标注数据，支持结构化数据（如CSV、JSON）和非结构化数据（如文本、图片）。 - **数据预处理**：使用内置工具进行数据清洗、去噪和增强，例如通过正则表达式过滤无效文本，或调用图像裁剪函数$f(x,y) = \text{crop}(I, x, y)$。 - **构建知识库**：将行业知识或私有数据导入知识库，用于后续模型训练中的检索增强（Retrieval-Augmented Generation, RAG）[^1]。 --- #### **3. 模型选择与配置** - **选择基础模型**：从**模型中心**选择预训练模型（如通义千问）作为基础，或导入第三方模型[^2]。 - **配置训练参数**： - 通过可视化界面设置超参数（如学习率$\eta=0.001$、训练轮次$T=100$）。 - 定义损失函数，例如交叉熵损失： $$L = -\frac{1}{N}\sum_{i=1}^N \sum_{c=1}^C y_{ic} \log(p_{ic})$$ - 启用分布式训练加速（需配置GPU资源）[^2]。 --- #### **4. 训练与调优** - **启动训练任务**：提交任务后，平台会自动分配计算资源并监控训练进度。 - **Prompt优化**：使用内置的Prompt自动优化工具调整输入指令，提升模型输出质量。 - **模型微调**：通过少量领域数据（如医疗问答对）进行微调，增强模型在垂直场景的表现。 --- #### **5. 验证与部署** - **性能评估**：使用验证集测试模型准确率、召回率等指标，并通过A/B测试对比基线模型。 - **部署模型**：将训练好的模型发布至**模型中心**，生成API接口供业务系统调用。 - **持续监控**：利用平台观测功能分析模型推理延迟、资源占用等运行时指标。 --- #### **6. 权限与协作管理** - 通过企业级权限系统控制模型访问权限，确保数据与模型的安全性。 - 支持团队协作开发，例如多人共同调试训练流水线。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值