如何搭建公司内部知识库的大模型小助手

于 2024-06-07 13:46:49 发布
阅读量1.1k 收藏 31
点赞数 12
文章标签： 人工智能 自然语言处理 ai 语言模型 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/EnjoyEDU/article/details/139524839
版权

需求

之前给领导画饼，说是要搞个智能大模型助手，这不就得实现这个饼了。 简单讲讲这个需求：

  1. 能根据喂给它的文件的内容进行回答
  2. 能进行编排（温度，敏感词过滤等）
  3. 能暴露成API和WebApp

技术选型

经过综合考量，LLM部署和推理框架选用 (Xinference)

image.png

LLMOps平台选用Dify.AI · The Innovation Engine for Generative AI Applications

这个是国人写的，支持企业级部署

image.png

大模型使用 智谱清言 (chatglm.cn)

不多说，清华的

安装

基础环境

基础环境需要Python39 pip、docker

Xinference

安装可以参考：部署快捷、使用简单、推理高效！大模型部署和推理框架 Xinference 来了！_大模型部署框架-CSDN博客

以及官方文档安装 — Xinference

值得注意的是，安装Xinference之后会安装会自动安装PyTorch，和对应的CUDA，此时你需要自己检查下是否安装正确

Dify

这个直接用Docker-compose即可

  1. 将源码拉下来
  2. 找到源码对应的docker目录，使用docker-compose启动

image.png

简单使用

这里会简单搞1个Node小助手

首先进入Xinference把模型跑起来,启动命令

xinference-local

之后找到想要的模型，点击run，初次会需要下载，建议最好跑在Nvidia的GPU上。

image.png

跑起来后，通过左侧RunningModels菜单，可以看到正在跑的模型 点击右侧即可进入WebApp（就是日常使用GPT的聊天窗）

image.png

想要进一步得出想要的小助手，需要对模型进行编排，这时候就需要请出Dify，启动后，进入到Nginx容器的地址，进入设置，对接好Xinference。

之后创建应用

image.png

可以看到这里用了知识库，先在Xinference里跑起Embedding 模型，作用是将文本转换为向量

image.png

然后跑Rerank 模型，用来对文本进行排序

image.png

最后回到Dify，创建知识库，选择好对应的模型，

image.png

之后在回到模型编排，将对应的知识库放进上下文里，提示词写上按上下文回答。

发布后打开概览，可以看到你的APP和API

image.png

点击APP的预览，进入到熟悉的聊天窗

image.png

至此，本地部署大模型就完成了，当然这套也可以部署在服务器上，只需要选择对应的Linux的版本，以及确保网络的通畅。

值得提醒的是：硬件一定要好，否则不但达不到你对大模型的预期，搭建过程也会困难重重

image.png

那么，我们该如何学习大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。

以上的AI大模型学习路线，不知道为什么发出来就有点糊，高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

大模型.
关注
博客
狠狠收藏！关于Deepseek，看这一篇就足够了
02-04 1万+
最近，AI界黑马DeepSeek爆火。AI圈、科技博主、职场人，甚至连朋友圈的宝妈群都在聊——“DeepSeek太强了！”“国产GPT之光！”“中文能力碾压！但Deepseek这个名词对部分人来说还比较陌生，怎么高效使用也是一个未知数，今天，就让我们一起走进DeepSeek的世界，看看它到底有多厉害！顺便再给你个DeepSeek万能使用模板，让你彻底摆脱提示词焦虑，让AI真正成为你的“最强大脑”！
博客
【大模型入门篇】如何系统的入门大模型？
04-28 541
本篇回答默认面向对大模型领域感兴趣的程序员。：基于提示词对大模型的使用，会问问题就行。在大模型生态之上做业务层产品。AI主播、AINPC、AI小助手。。。之前是会调API就行。现在有了GPTs，连调用API都可以不用了，动动嘴就可以实现应用生成。：给大模型配个“资料袋”——大模型外挂向量数据库/知识图谱。给大模型“大脑”装上记忆体、手和脚，让它可以作为智能体进行决策和工作。：基于基座大模型的Fine Tuning。大模型训练，高端赛道的角逐。
博客
大模型面试：大模型微调面试
04-28 698
一般 n B的模型，最低需要 16-20 n G的显存。（cpu offload基本不开的情况下）vicuna-7B为例，官方样例配置为 4*A100 40G，测试了一下确实能占满显存。128，max length 2048）当然训练时用了FSDP、梯度累积、梯度检查点等方式降显存。SFT的重点在于激发大模型的能力，SFT的数据量一般也就是万恶之源alpaca数据集的52k量级，相比于预训练的数据还是太少了。。，即使在多语言场景下也能有不错表现。。应该；。（比如：数百个）否则可能会；万），。
博客
图解 Transformer，一文吃透工作原理
04-28 565
另一种方法是保留前两个最有可能的单词（例如 ‘I’ 和 ‘a’），然后在下一步中，运行模型两次：一次假设第一个输出位置是单词 ‘I’ ，另一次假设第一个输出位置是单词 ‘a’，然后根据考虑位置 #1 和 #2 的错误程度，保留生成误差较小的版本。这种方法称为“束搜索”（beam search），在我们的示例中，束宽（beam_size）为 2（这意味着在任何时候，模型会在内存中保留两个部分假设，即未完成的翻译），而返回束（top_beams）也是 2（这意味着我们最终会返回两个翻译）。
博客
【大模型入门必看】0基础入门大模型的学习路线
04-27 543
0基础入门大模型，transformer、bert这些是要学的，但是你的第一口不一定从这里咬下去。真的没有必要一上来就把时间精力全部投入到复杂的理论、各种晦涩的数学公式还有编程语言上，这样不仅容易让你气馁，而且特别容易磨光热情。
博客
基于 MCP Http SSE模式的天气助手智能体开发实战（一文带你了解MCP两种开发模式）
04-27 739
本次分享我们深入浅出地介绍了MCP（模型上下文协议）的两种通信方式：标准输入输出（stdio）和基于HTTP的服务器推送事件（SSE）。通过开发一个天气助手智能体的实战案例，生动展示了两种模式的异同——stdio适合本地高效通信，而SSE则适用于远程分布式场景。本次分享我还着重对比了代码差异，比如SSE需要URL参数，而stdio直接调用子进程。最后，还为大家安利了调试神器MCP Inspector，能一键测试服务端功能，堪称“懒人福音”。
博客
一文讲清楚AI Agent（智能体）
04-27 496
AI Agent（Artificial Intelligence Agent，人工智能代理）是一种能够。
博客
3步搭建企业级Text2SQL应用，RAGFlow 实现自然语言转 SQL 的终极指南!
04-27 614
在企业大模型应用方面，Text2SQL一直是应用热点。大家都希望小嘴一张，就完成一系列数据提取和分析工作。但是，使用大模型自动理解业务需求，实现 SQL 代码编写和代码执行一直都存在技术难点。传统的 Text2SQL 方案，往往依赖，对于中小企业而言，带来非常高的应用成本。今天，介绍一个方法，使用开源 RAG 框架RAGFlow，应用知识库检索与大模型推理结合，不需要对模型做任何微调，只需要仅需配置少量结构化数据即可实现精准SQL生成，实现等多种场景。
博客
【MCP实战】用 Fastapi-MCP 快速从 0 开发一个 MCP Server
04-25 860
新增简单工具：获取当前时间format: str = "human" # 可选: iso | timestamp | human至此，我们就学会了怎么用Fastpi-MCP的工具来实现自己的 MCP服务。建议一定要到官网学习：https://github.com/tadata-org/fastapi_mcp。
博客
【建议收藏】一口气学完谷歌最新AI提示工程教程精华,看完直接弯道飙车！
04-25 652
提示工程是设计高质量提示的过程，目的是引导大型语言模型生成准确、相关的输出。根据谷歌的定义，它是"设计高质量提示的过程，这些提示指导LLM生成准确的输出。此过程涉及调整以找到最佳提示，优化提示长度，以及评估与任务相关的提示的写作风格和结构。大型语言模型(LLM)本质是一个预测引擎：输入文本，预测下一个可能的词语。模型连续地预测下一个token应该是什么，将先前预测的token添加到文本末尾，不断重复此过程生成完整回答。核心原理LLM根据训练数据预测下一个词的概率好的提示能引导模型产生符合预期的输出。
博客
人工智能小白必看系类：人工智能基础知识（附免费下载）
04-24 800
本篇系统而全面地概述了人工智能的知识体系。首先，我们定义了人工智能的基本概念，这是理解整个领域的基础。随后，通过对人工智能发展历程的梳理，我们展示了其从诞生到如今的演变轨迹，凸显了其在科技进步中的重要地位。接下来，我们深入探讨了机器学习与深度学习这两项核心技术。此外，我们还特别关注了大模型与AIGC（Artificial Intelligence Generated Content，人工智能生成内容）的兴起。这两项技术代表了人工智能领域的最新进展，它们的出现将进一步加速人工智能在各行业的应用与普及。
博客
大模型部署难？手把手教你选对推理工具！
04-24 588
选择正确的模型服务工具对于将机器学习模型转化为带来价值的应用程序至关重要。本文概述了服务运行时和平台，重点介绍了它们的功能、优点和局限性。可以看到找到公司最佳模型服务堆栈的难度并不小。您的选择应该基于项目的需求、团队的技能以及您需要对部署和扩展进行多少控制、框架兼容性、集成能力以及复杂性和功能之间的权衡等因素进行决策。建议：首先，缩小哪些工具可以匹配您的特定场景。然后，花一些时间为每个潜在工具构建概念验证 (PoC)。没有比快速实现更好的方式来感受框架了。
博客
【科普】DeepSeek-R1 1.5b、7b、8b、14b、32b、70b、671b 都是什么鬼？
04-23 1073
你是不是被这些概念绕晕了？如图所示：DeepSeek-R1 模型有好几种规格，比如，后面的，而 b 则是指 “” 的意思，也就是其中，，性能最强，也就是官网部署的版本。这样命名并不是 DeepSeek 的独特之处，其他大模型也都是这样命名的，比如说所以，一个模型的参数量越大，它能处理和生成的内容质量越复杂、越高，也更能满足我们的要求，不过也需要更多的硬件资源来支撑。大家可能会觉得，既然参数量越大模型越聪明，那是不是直接用最大的参数量就完事了？其实，这并不一定，现实中，，得具体问题具体分析。
博客
数字人全拆解：如何构建一个基于大模型的实时对话3D数字人？
04-23 1097
借助iPhone实现面部表情捕捉并用于数字人：本图片来自Unreal官方网站。
博客
如何开发一个企业级的 LLMOps（智能体） 平台？
04-22 1007
在各类跟 AI 相关的技术平台中，你一定经常会听到智能体平台、LLMOPS、MLOPS，你是否知道这 3 个概念之间的区别和联系呢？下图是 3 个概念之间的区别和联系：MLOPS 是机器学习运维，用来训练通用的模型。LLMOPS 属于 MLOPS 中的一部分，主要用来解决 LLM 的生命周期管理。通过 LLMOPS，企业可以很容易的训练出 需要的LLM，提供给智能体平台集成。
博客
从零实现 DeepSeek R1：从基础模型到强化推理模型
04-22 1030
在人工智能领域，语言模型的推理能力一直是研究的热点和难点。DeepSeek R1 作为一款专注于推理的先进语言模型，其训练过程和技术创新为自然语言处理领域带来了新的突破。DeepSeek R1 的训练过程并非从零开始，而是基于其强大的基础模型 DeepSeek V3，通过强化学习（Reinforcement Learning, RL）的方式进行优化和改进。为了便于理解和实践，我们可以通过一个简化版本的项目来复现这一过程。项目代码库提供了完整的实现细节，包括代码、依赖库和针对非技术读者的解释文档。
博客
4大AI智能体平台深度对比：Dify、Coze、AutoGen、LangChain，哪款更适合你？
04-21 833
AI智能体（AI Agent）近年来发展迅猛，展现出广阔的应用前景和巨大的商业潜力。不少优秀企业也都推出了自己的AI智能平台，每一家都各具特色，可满足不同用户的需求。本文将深入对比三大热门智能体平台：Dify、Coze、AutoGen、LangChain，帮助选型人员快速了解各自的优势和适用场景。Coze由字节跳动推出‌，Coze平台‌是一个基于机器学习和自然语言处理技术的软件实体，它在人工智能领域扮演着重要的角色，能够像一个智能助手一样，通过与外界环境进行交互学习，进而执行各种各样的任务。
博客
【RAG 实战】用 StarRocks + DeepSeek 构建智能问答与企业知识库
04-21 1150
RAG（Retrieval-Augmented Generation）是一种结合信息检索与生成式大语言模型（LLM）的技术框架，通过从外部知识库检索相关信息，并将检索结果作为上下文输入LLM，从而提升生成内容的准确性和相关性。其核心目标是解决大模型的知识局限性（如幻觉、时效性差、私有知识缺失等问题。
博客
一文搞懂大模型可视化（Open WebUI）
04-19 2233
但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
博客
大模型微调和RAG之间什么关系？ RAG数据会给大模型嘛？
04-19 1562
RAG通过“即查即用”的外部数据增强大模型生成能力，但。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值