基于大模型和RAG技术实现的开源项目

基于大模型和RAG技术实现的开源项目

为解决大模型的不足,使用RAG技术增强大模型生成内容的针对性和可读性能力,有很多不错的开源项目。例如下面的项目。

1 ragflow

优点:可以对文档和知识库进行管理,构建不同的知识库,支持Ollama和API-key。

数据库使用的是ElasticSearch、MySQL和minio。

# 官网
https://ragflow.io/

# Github
https://github.com/infiniflow/ragflow

2 AnythingLLM

优点:具有客户端便于本地管理数据,支持Ollama和API-key;缺点:对本地的电脑配置要求较高。

数据库默认使用的是lancedb。

# 官网
https://useanything.com/

# Github
https://github.com/Mintplex-Labs/anything-llm

3 fastgpt

优点:定位知识库搜索和生成,可以快速构建平台,提供了一键部署。安装过程可能较为费劲。

数据库使用的是MongoDB。

# 官网
https://fastgpt.in/

# Github
https://github.com/labring/FastGPT

4 QAnything

优点:使用BGE向量引擎完成文本向量化,提供可视化和API,中文支持较好。

数据库使用的是milvus、MySQL和minio。

# 官网
https://qanything.ai/

# Github
https://github.com/netease-youdao/QAnything

5 MaxKB

优点:支持Ollama和API-key,支持用户管理等,使用浏览器完成项目;安装最简单的项目。

数据库使用的是PostgreSQL和PGVector(PGVector 是一个基于 PostgreSQL 的扩展插件,为用户提供了一套强大的向量存储和查询的功能)

# Github
https://github.com/1Panel-dev/MaxKB

6 Dify(国产)

优点:可以设置工作流和Agent,支持多种API方式和多种向量引擎

# 官网
https://dify.ai/

# Github
https://github.com/langgenius/dify

7 Quivr

优点:支持多种文件的解析

# 官站
https://www.quivr.com/

# Github
https://github.com/quivrhq/quivr
  • 5
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
模型+RAG(Retrieval-Augmented Generation)是一种结合了检索和生成的方法,用于实现数据采集。具体步骤如下: 1. 数据收集:首先需要收集大量的原始数据,可以是文本、图像、音频等形式的数据。这些数据可以从互联网、数据库、文档等多个渠道获取。 2. 数据预处理:对收集到的原始数据进行预处理,包括数据清洗、去重、标注等操作。这一步骤旨在提高数据的质量和准确性,为后续的模型训练做准备。 3. 模型训练:使用大模型进行训练,可以选择使用预训练的语言模型(如GPT)或自定义的模型。在训练过程中,可以采用生成式对抗网络(GAN)等方法来增强模型的生成能力。 4. 检索模块构建:为了提高生成结果的准确性和相关性,需要构建一个检索模块。该模块可以使用传统的信息检索技术,如倒排索引、向量检索等,也可以使用深度学习方法,如BERT、Dense Retrieval等。 5. 数据采集:利用构建好的检索模块,对用户提出的问题或需求进行检索,获取与之相关的数据。可以根据检索结果的相关性进行排序,选择最相关的数据进行生成。 6. 数据生成:基于检索到的数据,使用大模型进行生成。可以采用生成式模型,根据检索到的数据进行文本、图像等内容的生成。生成的结果可以根据需求进行进一步的处理和优化。 7. 结果评估:对生成的结果进行评估,可以使用人工评估或自动评估的方式。评估指标可以包括生成结果的准确性、流畅性、相关性等。 8. 迭代优化:根据评估结果,对模型和检索模块进行优化和调整。可以通过增加训练数据、调整模型参数、改进检索算法等方式来提升系统的性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值