如何搭建公司内部知识库的大模型小助手

于 2024-06-07 13:46:49 发布
阅读量776 收藏 31
点赞数 12
文章标签： 人工智能 自然语言处理 ai 语言模型 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/EnjoyEDU/article/details/139524839
版权

需求

之前给领导画饼，说是要搞个智能大模型助手，这不就得实现这个饼了。 简单讲讲这个需求：

  1. 能根据喂给它的文件的内容进行回答
  2. 能进行编排（温度，敏感词过滤等）
  3. 能暴露成API和WebApp

技术选型

经过综合考量，LLM部署和推理框架选用 (Xinference)

image.png

LLMOps平台选用Dify.AI · The Innovation Engine for Generative AI Applications

这个是国人写的，支持企业级部署

image.png

大模型使用 智谱清言 (chatglm.cn)

不多说，清华的

安装

基础环境

基础环境需要Python39 pip、docker

Xinference

安装可以参考：部署快捷、使用简单、推理高效！大模型部署和推理框架 Xinference 来了！_大模型部署框架-CSDN博客

以及官方文档安装 — Xinference

值得注意的是，安装Xinference之后会安装会自动安装PyTorch，和对应的CUDA，此时你需要自己检查下是否安装正确

Dify

这个直接用Docker-compose即可

  1. 将源码拉下来
  2. 找到源码对应的docker目录，使用docker-compose启动

image.png

简单使用

这里会简单搞1个Node小助手

首先进入Xinference把模型跑起来,启动命令

xinference-local

之后找到想要的模型，点击run，初次会需要下载，建议最好跑在Nvidia的GPU上。

image.png

跑起来后，通过左侧RunningModels菜单，可以看到正在跑的模型 点击右侧即可进入WebApp（就是日常使用GPT的聊天窗）

image.png

想要进一步得出想要的小助手，需要对模型进行编排，这时候就需要请出Dify，启动后，进入到Nginx容器的地址，进入设置，对接好Xinference。

之后创建应用

image.png

可以看到这里用了知识库，先在Xinference里跑起Embedding 模型，作用是将文本转换为向量

image.png

然后跑Rerank 模型，用来对文本进行排序

image.png

最后回到Dify，创建知识库，选择好对应的模型，

image.png

之后在回到模型编排，将对应的知识库放进上下文里，提示词写上按上下文回答。

发布后打开概览，可以看到你的APP和API

image.png

点击APP的预览，进入到熟悉的聊天窗

image.png

至此，本地部署大模型就完成了，当然这套也可以部署在服务器上，只需要选择对应的Linux的版本，以及确保网络的通畅。

值得提醒的是：硬件一定要好，否则不但达不到你对大模型的预期，搭建过程也会困难重重

image.png

那么，我们该如何学习大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。

以上的AI大模型学习路线，不知道为什么发出来就有点糊，高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

EnjoyEDU
关注
  • 12
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
AI赋能：数智政务模型的实际落地场景
09-03 907
是指通过人工智能技术，对数字政府的数据进行分析和发掘，通常在政务大数据的基础上集合大模型技术构造数智一体化平台，提供智能决策支持和解决方案的一种技术应用。数字政府的建设需要新的技术支持，大模型在政务领域的应用成为关键。全国各地政府都在加强大模型产业顶层设计和布局，北京市率先出台正对性政策，广东、上海、安徽等地方也积极探索大模型产业，助力大模型在政务领域深度应用。最终达到促地方经济发展、增强区域竞争力、加快技术应用、引导产业升级、优化人才结构、提升公共服务。‍‍。
博客
大模型幻觉问题产生原因是什么？如何解决？大模型学习资源如何获取
09-03 1041
相信大家在使用ChatGPT或者其他大模型时会遇到这样的情况，模型答非所问甚至自相矛盾。这种现象我们称为“幻觉”"幻觉"指的是模型生成的信息或回答不准确或虚假的现象。比如，模型可能在回答问题时编造不真实的细节，或者对事实产生错误的解释。在准确率要求非常高的场景下幻觉是不可接受的，比如新闻领域、医疗领域、金融领域等。以下为几个典型的大模型幻觉案例：1、阅读理解任务中的幻觉：大模型在回答问题时，可能会产生与原文无关的答案，甚至编造事实。
博客
行业落地分享：大模型 RAG 汽车应用实践
08-23 877
在当今快速发展的人工智能领域，对话式人工智能（AI）正经历着一场由大模型技术引领的转型。这种转型标志着对话式AI从传统的预设规则模式，逐渐转变为更加智能和灵活的生成模式。大模型对话机器人的优势基于大模型的对话机器人通过先进的自然语言处理能力，实现了客户意图的精准预测和实时画像分析。这种技术的应用使得AI能够代替传统的人工预设规则，提供更智能、更高效的客户服务体验。与传统的对话机器人相比，大模型对话机器人能够实时生成策略，整合垂类知识和外部搜索结果，以及利用通用知识库，从而提供更加丰富和准确的信息。
博客
提升RAG系统的回答质量：构建高效的Prompt
08-23 825
通过理解用户意图、结合检索到的知识、结构化设计Prompt、动态调整Prompt以及考虑生成模型的能力，RAG系统能够在各种复杂场景下，生成具有高度准确性和相关性的回答。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。例如，在科研领域，当用户询问一种化合物的特性时，系统需要将关于该化合物的物理特性、化学反应性和应用领域的知识整合到Prompt中。在构建Prompt时，还需充分考虑生成模型的能力，包括模型的知识覆盖范围、生成长度的控制、语言风格的适配等。
博客
一文彻底搞懂大模型 - Agent（智能体）
08-23 558
大模型Agent是一种构建于大型语言模型（LLM）之上的智能体，它具备环境感知能力、自主理解、决策制定及执行行动的能力。
博客
应届生年薪炒到65w+，真心建议冲冲这个新兴领域！
08-12 381
重磅消息，国资委打响了国内AI第一枪！这意味着传统行业又迎来了一次大洗牌，现在国内头部人工智能公司已经开始用AI数字人助力各行各业，。除此之外，知名大厂也都在布局AI市场。懂的程序员年薪已经翻到!风口之下，与其，不如先人一步掌握 AI 大模型技术。为帮助大家提升竞争力，为了帮助普通程序员享受时代红利，，我决定把宝贵的AI知识分享给大家。至于能学习到多少就看你的学习了。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
博客
AI赋能下的客服中心：策略、实践与价值创造
08-12 649
在数字化转型的浪潮中，客户服务中心作为企业与客户互动的关键节点，正经历着由人工智能（AI）技术引领的革新。AI技术的应用不仅极大提升了运营管理的智能化水平，还显著增强了客户服务的个性化体验，同时为员工提供了更加高效的工作辅助工具。本文全面探讨了AI在客服中心的多维应用策略，
博客
RAG 应用落地常见的三个挑战及解决思路
08-08 915
简单用于原型展示的Rag应用并不复杂，但真要落地生产就会有很多现实的挑战，《AI工程化》在前面的文章里也介绍过很多领域内的一些解决思路和实践方案。学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。例如，如果用户直接询问 “推荐酒店”，我们就可以通过澄清和询问收集用户的首选地点、价格范围和其他偏好等信息，从而提供更准确的回复。c.Query相似性检索。
博客
大模型RAG从入门到精通（非常详细）看这篇就够了，草履虫都能轻松看懂！！！
08-08 1007
在RAG系统的实际应用中，需要工程和算法等的多方参与和努力，理论上有很多方法，在实践的过程中我觉得还需要大量的实验对比，不断验证和优化，也可能会遇到许多细节问题，比如可想到的异构数据源的加载和处理啊，知识的展示形态(文本、图片、表格)等是否能一起回答，提升下用户体验，以及建立一套自动化的评估机制，当然还有模型的持续迭代和大小模型的训练支持。作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。具体来说，设计了一个轻量级的检索评估器来评估检索到的文档的整体质量，并基于评估结果触发不同的知识检索操作。
博客
不到两百行代码教你实现一个完整的RAG系统（案例+源码）
08-07 707
# 使用huggingfacepipeline本地搭建大语言模型# 使用OpenAI的大语言模型# 获取环境变量 OPENAI_API_KEY# 使用智谱AI的大模型。
博客
大模型项目落地要注意这五个细节，听懂少走十年弯路
08-07 693
既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。在这里核心就是要设计一套产品，确定产品有市场需求，确认之后，我们就可以考虑切换为开源模型，然后通过微调的方法能够接近这种最好的模型的效果。作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。随着大模型的持续爆火，各行各业都在开发搭建属于自己企业的私有化大模型，那么势必会需要大量大模型人才，同时也会带来大批量的岗位？
博客
2024年多模态大语言模型最新进展，大模型最新前言消息
08-02 873
本文对多模态大型语言模型（MM-LLMs）进行了全面系统的综述，涵盖了模型架构、训练流程以及122个多模态大模型研究的概览。文章深入探讨了输出投影器在机器翻译中的关键作用，并详细分析了模式生成器、训练管道、最先进的MM-LLM（SOTAMM-LLM）和未来发展趋势。MM-LLMs的发展方向包括扩展模型模式、丰富LLM多样性、提高MM生成能力和开发更具挑战性的基准测试。文章还提出了解决MM-LLMs在微调和幻觉缓解等方面所面临挑战的建议。MM-LLMs的时间表如图1所示。图1 MM-LLMs的时间轴。
博客
这次终于能把Transformer弄清楚了！从入门到精通（非常详细）看这一篇就够了！
08-02 747
本文将深入探讨Transformer架构，这是当今几乎所有尖端大型语言模型架构的核心组成部分。首先，我们将简要回顾一些与自然语言处理（NLP）相关的基本概念，随后逐步解析Transformer的工作原理。本文适合对自然语言处理（NLP）感兴趣的任何人阅读。尽管本文并不复杂，但由于涉及众多概念，可能对新手来说有一定的难度。为了更好地理解本文内容，大家需要对标准神经网络有基本的工作理解，还需要对嵌入、编码器和解码器有初步认识。在深入探讨Transformer之前，我们简要介绍一些必要的概念和技术背景。
博客
Llama 3.1震撼发布，真正的全民GPT-4时代来了
07-24 858
那以下这些PDF籍就是非常不错的学习资源。Llama 3.1 405B的发布标志着Meta在其开源模型故事中的新篇章，Meta还计划推出一个综合的Llama系统，包括新的安全工具和API标准，以简化第三方项目的集成。此外，Llama 3.1 405B和同系列的70B与8B模型均支持128K tokens的上下文窗口，以及多语言和先进的工具使用能力，以促进更高级的应用开发。作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。
博客
正在爆发的智能体，能否成为大模型落地医疗的新动力？
07-23 1070
人工智能产业的蓬勃发展，带来了人机交互模式的革新。自2022年11月OpenAI发布ChatGPT以来，大语言模型已经深刻影响了我们的工作和生活。作为未来大模型最主流的使用方式，智能体这一概念备受业界关注。在医疗领域，智能体是否能够在结合大模型能力的基础上，满足医疗用户复杂多变的需求，进而在医疗诊断、科研创新、医学教育等多个关键领域中实现深度应用与融合？同时，专业智能体能否成为推动大模型在医疗领域成功落地的关键？
博客
LLMs大模型在金融投资领域的15个具体应用场景，知道10个以上的凤毛麟角
07-23 743
NER在金融领域有广泛的应用，它可以用于信息提取（从金融新闻和报告中提取有关公司、股票和市场事件的关键细节）、合规监控（自动识别和监督金融文件中的敏感实体，如洗钱和欺诈）以及投资决策支持（通过分析市场新闻和报告中的实体和事件，为投资决策提供数据支持）。还有其他多样化的研究方法，如为情感分析设计专门的NLP子模块 ，N-gram和朴素贝叶斯算法的应用 ，基于词典的情感分析 ，以及情绪分类配合每日情感评分。例如，在衍生品定价和风险管理方面，LLMs可以结合微积分和统计学原理，提供更精准的计算和分析。
博客
大模型在数据领域的十大价值应用？最后一个99%的人都不知道
07-22 1159
销售终端] --> (实时数据流) --> [交易处理系统] [交易处理系统] --> (批量传输, 每小时) --> [数据仓库] [数据仓库] --> (数据转换) --> [销售报表系统] [数据仓库] --> (数据聚合) --> [预测分析系统] [销售报表系统] --> (数据可视化) --> [管理仪表板] [预测分析系统] --> (预测结果) --> [库存管理系统] [预测分析系统] --> (客户洞察) --> [CRM系统]公司决定使用基于大模型的系统来进行全面的数据合规性检查。
博客
学习人工智能所需的数学知识及路线规划，非常详细，从入门到精通，看这一篇就够了
07-22 651
学习人工智能是一个系统工程，需要扎实的数学基础和编程能力作为支撑。通过系统的学习和实践，逐步掌握人工智能的核心技术和应用方法，将为你未来的职业发展奠定坚实的基础。希望本文能为广大AI爱好者提供一些有益的参考和指导。
博客
【科普】大模型应用中一个 Token 占多少汉字？答案超乎想象！
07-20 1937
对于普通用户很难理解Token这个概念， 这个概念是隐藏在模型内部的， 对于普通使用者来说，这种计价方式无疑是致命的， 所以对于大部分普通使用者，还是采用包月方式偏多， Token计价方式针对的是开发者，希望通过API方式进行调用，封装自己的应用。：许多现代大模型使用子词分词技术，如BPE（Byte-Pair Encoding）或WordPiece，这些方法可以将未知的或不常见的单词拆分成更小的子词，从而更有效地处理语言中的多样性。分词器根据预定义的词汇表和算法，将文本拆解成模型可以理解和处理的最小单元。
博客
又一历史时刻：Transformer和Mamba都被超越了！大模型最强架构TTT问世！
07-20 637
这篇文章提出了一种新型的序列建模方法，名为Test-Time Training（TTT）层，旨在解决现有循环 神经网络（RNN）在处理长文本时表达能力受限的问题。作者指出，尽管自注意力机制在处理长文本方 面表现出色，但其计算复杂度呈二次方增长。相比之下，传统的RNN层虽然具有线性复杂度，但其隐藏 状态的表达能力在面对长文本时会受到限制。文章的核心思想是将隐藏状态设计成一个机器学习模型本身，并将更新规则作为自监督学习步骤。这意味着即使是在测试序列上，隐藏状态也会通过训练进行更新，从而使得TTT层在测试时也能进
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值