llamaindex+Internlm2 RAG实践

最新推荐文章于 2024-11-01 13:39:49 发布
最新推荐文章于 2024-11-01 13:39:49 发布
阅读量148 收藏
点赞数 2
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qpj297/article/details/140891718
版权

安装完环境

测试demo

可以看到模型并不知道这是什么

使用RAG检索

成功

开始构建自己的知识库

Rnglg2/SD_Prompt-internLM: SD提示词助手 (github.com)

使用这个项目的readme文件进行测试

默认模型并不认识sd提示词助手是什么

使用RAG技术后

完成任务

奇葩菌2333
关注
LlamaIndex 实现 RAG （一）
hawk2014bj的博客
08-22 1092
本文简单实现 RAG 的流程，并实现了可视化页面，关于文档的切分以及 RAG 不同组件的详细讲解，会在后续文章继续分享。代码地址：https://gitcode.com/hawk2014bj/llamaindex/overview源代码也可以从资源中下载。
基础岛 - llamaindex+Internlm2实现RAG实践
纸上得来终觉浅 绝知此事要躬行
08-08 956
RAG流行的一个重要原因是目前的LLM所能支持的上下文token数是受限的，不能把所有信息一起扔给LLM，所以要经过检索过程的把背景信息精选、精筛，借此提高回答的正确性。但如果上下文窗口超长，已经足够把几百个文档一股脑的塞入到大模型对话的窗口，并能完美的在其中检索到事实知识，那么还有必要做任何形式的外部索引与检索，来给大模型提供知识“外挂”（RAG）吗？第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考。给模型注入新知识的方式，可以简单分为几种方式，
llamaindex+Internlm2-RAG实践
forinout的博客
08-06 686
在data文件下添加文件下面内容为书生浦语的相关教程，你也可以直接访问 [InternLM]（https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/LlamaIndex/task.md）
书生实战营llamaindex+Internlm2 RAG实践
fotonice的博客
07-29 221
个人对RAG的理解，并不对大语言模型进行微调，而是为其增加一个知识库，该知识库的的输入可以是word，pdf等格式文字，这些文字通过词嵌入向量模块后被转化为词向量储存，当用户进行提问时，问题也会被转化为词向量，问题向量会在知识向量库中寻找最相关，也就是距离最近的知识向量，然后将原始的用户问题和该知识共同作为提示，输入到大模型中，生成最终问答。然后是在web上对llm进行询问，这个需要ssh连接，参考L0中的Linux课程，否则无法打开local网址。可以看出效果不好，模型并没有学习过xtuner的知识。
使用RAGAs + LlamaIndex进行RAG评估
安静的软件工程师
02-24 2153
使用RAGAs + LlamaIndex进行RAG评估
AI问答+RAG-rag
10-22
RAG rag rag rag rag rag
基于fastapi+uniapp+langchain+rag的AI私域知识库设计源码
10-01
该项目是一款基于fastapi、uniapp、langchain和rag技术的AI私域知识库，源码包含71个文件，涵盖20个Python脚本、13个SCSS样式表、9个Vue组件、9个JavaScript文件、8个JSON配置、6个Markdown文档、2个HTML文件、1个...
基于fastapi+uniapp+langchain+rag的私域知识库AI助手设计源码
09-30
该项目是一个基于FastAPI、Uniapp、LangChain和RAG技术的私域知识库AI助手设计源码。项目包含29个文件，涵盖16个Python脚本、4个Vue组件、2个JavaScript脚本、2个JSON配置文件、1个Git忽略文件、1个TOML配置、1个...
探讨Facebook的AI研究：未来社交平台的技术前瞻
LokiSan的博客
10-29 987
在数字时代，社交媒体已成为人们日常生活的重要组成部分。作为全球最大的社交网络之一，Facebook不断致力于人工智能（AI）的研究与应用，以提升用户体验、增强平台功能并推动技术创新。本文将探讨Facebook在AI领域的研究方向及其对未来社交平台的潜在影响。
数据预处理：为 AI 准备 “优质食材” 的重要步骤
JiexianYao的博客
10-31 536
AI模型数据处理
UOS AI 1.6 版本升级，如何实现精准搜索，效率翻倍？
最新发布
vickynesss的博客
11-01 150
通过直接接入互联网的实时数据流，搜索结果变得多样化，不仅限于文字总结，还包括思维导图、事件与人物的综合概述，以及图片、视频、音频等多种形式，显著提高了回答的准确性和全面性。全局搜索全新搭载端侧大模型：支持离线自然语言搜索，无论身在何处，即使没有网络，只需通过快捷键“Shift+space(空格键）”唤醒全局搜索，都能轻松找到所需文件。：对于日常积累的海量截图，只需借助全局搜索功能，简要描述图片内的文字信息，便能迅速锁定并检索到所需图片。：重要信息直接添加到知识库，方便日后查阅，让全局搜索成为你的第二大脑。
基于Keras的U-Net模型在图像分割与计数中的应用
10-31 1822
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
大模型系列——AlphaZero/强化学习/MCTS
hang on it more longer
10-29 1094
AlphaGo Zero无需任何人类历史棋谱，仅使用深度强化学习，从零开始训练三天的成就已远远超过了人类数千年积累的。
AI产品经理实战手册：策略、开发与商业化指南
清图出版
10-31 375
通过《AI产品经理手册》，将可以了解不同类型的AI，如何将AI整合到产品或业务中，以及支持创建AI产品或将AI集成到现有产品所需的基础设施。熟悉实践管理AI产品开发流程、评估和优化AI模型，以及应对与AI产品相关的复杂伦理和法律问题等相关知识。通过案例研究和学习，在快速发展的AI和机器学习领域保持领先地位。通过阅读本书，读者将能够从产品角度全面了解AI领域。
【论文阅读】Persistent Homology Based Generative Adversarial Network
开心星人的博客
10-26 1483
现有的生成模型不能充分捕捉图像的全局结构信息，使得图像生成过程中难以协调全局结构特征和局部细节特征。该文提出了一种基于持续同调的生成对抗网络（PHGAN）。本文基于持久同调方法设计了拓扑特征变换算法，并通过全连通层模块和自注意模块将拓扑特征集成到遗传神经网络的鉴别器中，使PHGAN具有良好的全局结构信息捕获能力，提高了模型的生成性能。在CIFAR10数据集和STL10数据集上对PHGAN进行了实验评估，并与几种经典的生成式对抗网络模型进行了比较。实验结果表明我们的PHGAN模型具有较好的图像生成能力。
TTS（Text-to-Speech）和LLM（Large Language Model） 介绍
nbspzs的专栏
10-28 281
LLM 是一种使用深度学习训练的大型语言模型，能够生成、理解和处理人类语言，通常用于对话、文本生成、语言翻译、问答等复杂的语言任务。TTS 是一种将文本转化为语音的技术，主要用于将书面文字转换成自然、流畅的语音，模拟人类的声音输出。LLM：一种大型的自然语言生成与理解模型，用于回答问题、对话、生成内容等文本处理任务。主要功能：专注于“理解和生成”语言，支持对话、信息检索、总结和推理等任务。主要功能：专注于“文本到语音”转换，模拟发音、语调、情感等。应用场景：聊天机器人、内容创作、编程助手、翻译、文本分析。
Atlas800昇腾服务器（型号：3000）—Docker容器部署【图像分类】（十）
weixin_45679938的博客
10-28 1060
（2）导出requirements.txt文件【这里剔除ais_bench相关】（4）构建镜像-名字images_classfication:0001.rc。：鲲鹏 CPU（ARM64）+A300I pro推理卡。（2）启动容器，直接运行脚本：【（1）启动容器，进入终端：【开发套件：版本7.0.1【（5）查看镜像是否存在。
AIGCDesign——开放式跨端AI组件解决方案
银行信息系统应用架构导论
10-31 18
组件库内置AI聊天全流程的交互，通过少量入参可实现基础功能的产出，也可以结合生命周期事件和相关属性进行定制化配置。......结合生命周期事件和相关属性配置，可自定义以下功能：大模型请求：调用方可自行进行大模型接口请求，并将会话数据注入容器，容器根据注入的数据进行会话区域渲染。
LlamaIndex RAG模型开发与文档索引可视化
资源摘要信息:"LlamaIndex RAG 开发" LlamaIndex RAG 开发涉及的知识点主要集中在自然语言处理（NLP）领域中的Retrieval-Augmented Generation（RAG）模型的应用、集成和文档索引技术，以及可视化操作等方面。下面...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值