大模型知识库

已于 2024-03-21 17:39:45 修改
阅读量915 收藏 16
点赞数 15
文章标签： 深度学习 人工智能
于 2024-03-18 15:23:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LANWENBING/article/details/136797977
版权

一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。

1. 下载Langchain-chatchat

git clone https://github.com/chatchat-space/Langchain-Chatchat/

2. 下载大模型和embedding模型

大模型： git clone https://huggingface.co/THUDM/chatglm3-6b-32k

embedding 模型:  git clone https://huggingface.co/BAAI/bge-large-zh
如果在下载过程中遇到huggingface.co is not conneted, 可以使用以下方法解决：
完美解决huggingface问题：F
最低0.47元/天 解锁文章
LANWENBING
关注
  • 15
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
JAVA版本的检索增强生成(RAG)大模型知识库项目.zip
03-09
JAVA版本的检索增强生成(RAG)大模型知识库项目.zipJAVA版本的检索增强生成(RAG)大模型知识库项目.zipJAVA版本的检索增强生成(RAG)大模型知识库项目.zipJAVA版本的检索增强生成(RAG)大模型知识库项目.zipJAVA版本的...
开源代码基于 ChatGLM+ Langchain 增强生成(RAG)大模型知识库增强问答系统
06-06
【开源代码】基于 ChatGLM+ Langchain 增强生成(RAG)大模型知识库增强问答系统 基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型知识库项目。思想实现的基于本地...
部署并使用bge
qq_42669117的博客
11-10 7505
我们希望我们的问题能embedding10个最相关的句子。使用如下数据集（由于是公司整理，暂时不会提供给公众）这些数据我们录入到emb11_0918_3694.txt文件中。执行以后下列图片，即为下载成功。使用命令：git clone。
调用本地embeddings时仍会连接Huggingface下载的解决方法
weixin_73089812的博客
05-05 1025
TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。
揭秘！大模型知识库架构设计和落地困境
musicml的博客
04-18 1012
▼最近直播超级多，预约保你有收获—1—大模型知识库架构设计以下这张图可能许多同学都见过，它展示了一个文档处理流程：首先，将PDF、PPT、Word 等格式的文档进行分割，然后转换为嵌入（Embedding）形式，并存储到向量数据库里。在问答环节，系统会检索并提取与问题相关的文档块，接着构建一个提示词（Prompt），将其输入到一个大语言模型中，最终由模型生成相应的问答内容。以上架构本质上解决两...
如何搭建基于大模型的智能知识库
weixin_43737299的博客
01-25 5478
基于RAG与LLM的知识库作为目前最有潜力的企业端大模型应用之一，从技术角度可以看到，建设方案已经完备；从业务角度，最终的应用效果和业务价值还需要观察，并通过业务侧的反馈不断地促进建设方案的进一步优化，比如增加对多模态知识的处理能力等。让我们共同期待这类应用普及那一天的到来。
【大模型知识库】（1）：系统架构设计思考/调研。开源项目llm-knowledge-system，部署mysql，seilisearch，milvus，fastchat的ChatGLM3，BGE-zh
freewebsys的专栏
11-28 2226
项目介绍端口mysql数据库3306搜索库7700milvus向量数据库19530fastchat模型框架，部署chatglm3,BGE-zh8000使用goframe可以快速创建项目。然后就可以进行开发了。在项目的docker-compose 目录下可以直接将各种中间件服务都启动。配置都在各自中间件的目录下面。数据都存储在data目录下面。
私有化部署FastGPT+OneAPI大模型知识库
hou610433155的博客
01-18 5091
动手实践私有化部署大模型知识库，使用FastGPT+oneapi，实现本地化部署
【大模型知识库】（2）：开源大模型+知识库方案，docker-compose部署本地知识库和大模型，毕昇+fastchat的ChatGLM3，BGE-zh模型，通过拖拽/配置方式实现大模型编程
freewebsys的专栏
12-16 5706
通过拖拽的方式可以实现模型的配置编程，可以快速的开发应用。或者提供对外接口，非常的方便。这个只是演示了配置chatglm3 接口的部分。持续研究中。
大模型外挂知识库rag综述
posuosini的博客
03-19 3245
大模型外挂知识库rag的综述
本地搭建大模型知识库Ollama+AnythingLLM（保姆级）
小码哥AI、互联网副业项目
04-28 1639
手把手教你搭建本地知识库Ollama+AnythingLLM（保姆级）
大模型相关知识
u013092227的博客
08-14 2727
简单来说，embedding就是用一个低维的向量表示一个物体，可以是一个词，或是一个商品，或是一个电影等等。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义，比如 Embedding(复仇者联盟)和Embedding(钢铁侠)之间的距离就会很接近，但 Embedding(复仇者联盟)和Embedding(乱世佳人)的距离就会远一些。
开源代码基于langchain的大模型本地知识库系统Langchain-ChatChat
06-07
【开源代码】基于langchain的大模型本地知识库系统 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。 依托于本项目支持的开源 LLM 与 ...
基于LangChain和ChatGLM-6B本地知识库的自动问答系统（大模型知识库源码+webui）
05-21
利用LangChain和ChatGLM-6B系列模型制作的Webui, 提供基于本地知识的大模型应用. 目前支持上传 txt、docx、md、pdf等文本格式文件, 提供包括ChatGLM-6B系列、Belle系列等模型文件以及GanymedeNil/text2vec-large-...
语言模型即知识库（Language Models as Knowledge Bases）
10-31
近年来使用大规模预训练语言模型已成为自然语言处理领域的常见思路。给定某一任务，在大规模预训练模型的基础上进行微调往往可以取得比传统方法更好的效果。
动手学深度学习（Pytorch版）代码实践 -深度学习基础-04图片分类数据集
李思成的博客
06-18 344
【代码】动手学深度学习（Pytorch版）代码实践 -深度学习基础-04图片分类数据集。
SSA-CNN多输入时序|樽海鞘算法-卷积神经网络|Matlab
不定时分享电力优化、神经网络、数学建模等技术等
06-19 281
本代码基于。
神经网络学习3-卷积层
最新发布
drarad的博客
06-19 335
膨胀卷积，也被称为空洞卷积或扩张卷积，是一种特殊的卷积运算，它在标准卷积的基础上引入了一个额外的超参数，即膨胀率（dilation rate）。这个超参数决定了在卷积核的元素之间插入多少额外的空间。通过这种方式，膨胀卷积能够在不增加计算复杂度的同时，扩大卷积运算的采样范围，从而增加感受野（receptive field）的大小。感受野指的是卷积神经网络中某一层输出结果中一个元素所对应的输入层的区域大小，它代表了卷积核在图像上看到的区域大小。感受野越大，包含的上下文关系越多，有利于捕捉更广泛的图像信息。
本地部署大模型知识库
04-04
本地部署大模型知识库是指将一个庞大的知识库或者模型部署在本地环境中，以便在本地进行查询和使用。这样可以避免依赖于云服务或者外部网络，提高查询速度和数据安全性。 在进行本地部署大模型知识库时，通常需要...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值