书生实战营llamaindex+Internlm2 RAG实践

最新推荐文章于 2024-07-29 13:37:13 发布
最新推荐文章于 2024-07-29 13:37:13 发布
阅读量54 收藏 1
点赞数 3
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fotonice/article/details/140766975
版权

llamaindex+Internlm2 RAG实践

个人对RAG的理解，并不对大语言模型进行微调，而是为其增加一个知识库，该知识库的的输入可以是word，pdf等格式文字，这些文字通过词嵌入向量模块后被转化为词向量储存，当用户进行提问时，问题也会被转化为词向量，问题向量会在知识向量库中寻找最相关，也就是距离最近的知识向量，然后将原始的用户问题和该知识共同作为提示，输入到大模型中，生成最终问答。

实践：1、配置基础环境，此处适用的是30%的A100，python版本3.10，安装Llamaindex、Pytorch、源词向量模型Sentence Transformer等相关依赖库。

2、下载InternLM2 1.8B，并询问xtuner是什么，得到答案如下图：

可以看出效果不好，模型并没有学习过xtuner的知识。

因此使用RAG对模型进行优化。先安装词向量依赖

pip install llama-index-embeddings-huggingface llama-index-embeddings-instructor

然后通过git clone https://github.com/InternLM/xtuner.git命令，获取知识库xtuner/README_zh-CN.md。

之后新建llamaindex_RAG.py并运行，这次得到的回答非常准确。

然后是在web上对llm进行询问，这个需要ssh连接，参考L0中的Linux课程，否则无法打开local网址。创建app.py并运行，得到下图：

然后提问：

fotonice
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于langchain的RAG实战
02-19
基于langchain的RAG实战
LlamaIndex 创始人 Jerry Liu 介绍 RAG、Agent 痛点以及解决方法
07-14
LlamaIndex 创始人 Jerry Liu 介绍 RAG、Agent 痛点以及解决方法
书生大模型实战营3期 - 基础岛 - 4 - InternLM + LlamaIndex RAG 实践
最新发布
wocsdn111的博客
07-29 231
【代码】书生大模型实战营3期 - 基础岛 - 4 - InternLM + LlamaIndex RAG 实践。
（第三期）书生大模型实战营——Llamaindex RAG实践
a_blade_of_grass的博客
07-27 710
本文任务及教程来自书生大模型实战营，
书生大模型实战营（第三期闯关大挑战）- 基础岛 第四关 InternLM + LlamaIndex RAG 实践
个人技术
07-27 237
本文章主要介绍了LlamaIndex RAG增强检索功能
书生大模型实战营--L1关卡-Llamaindex RAG实践
cgq081616的专栏
07-28 226
5. 大韩民国（Republic of Korea）：共获得3枚奖牌，其中包括1枚金牌、1枚银牌和1枚铜牌。6. 哈萨克斯坦（Kazakhstan）：共获得2枚奖牌，其中包括1枚金牌、0枚银牌和1枚铜牌。6. 比利时（Belgium）：共获得2枚奖牌，其中包括1枚金牌、0枚银牌和1枚铜牌。9. 德国（Germany）：共获得1枚奖牌，其中包括1枚金牌、0枚银牌和0枚铜牌。6. 日本（Japan）：共获得2枚奖牌，其中包括1枚金牌、0枚银牌和1枚铜牌。4、查询2024年巴黎奥运会 中国队获得几枚金牌的答案。
Langchain-一个简单的基于Langchain+RAG的应用示例-附项目源码+流程教程-优质项目实战.zip
07-22
Langchain_一个简单的基于Langchain+RAG的应用示例_附项目源码+流程教程_优质项目实战
RAG实战代码及知识库
03-13
在本资源中，“RAG实战代码及知识库”是一个针对自然语言处理领域的实践项目，它基于yuan2.0大模型构建了一个名为RAG（Retrieval-Augmented Generation）的系统。RAG是一种混合了检索和生成两种能力的模型，它能够...
大模型LLM，RAG实战.zip
03-14
标题中的“大模型LLM，RAG实战”指的是在自然语言处理领域中，大型语言模型（Large Language Models, LLM）的应用，特别是Relevance-Aware Generation（RAG）模型的实际操作。RAG是一种结合了检索式和生成式模型优势...
快醒醒，别睡了!...讲《数据分析pandas库》了—/—＜4＞
qq_64603703的博客
07-27 717
详细解说数据分析pandas库中的常用方法
全网最详细Gradio教程系列5——Gradio Client: python
shao918516的博客
07-26 995
程序部署完成后，如何将Gradio App作为API访问使用呢，这就用到Gradio Client。本章讲解Gradio Client的三种使用方式：python、javascript和curl，受字数限制，所以分三篇博客发布。 使用Gradio Python Client非常易于将Gradio应用程序作为API使用，本节讲述gradio_client安装、如何连接Gradio应用程序、查看可用API及其使用方式、job及session等用法。 通过Gradio Python Cli
全面解析 SnowNLP：中文文本处理、情感分析
有勇气的牛排博客
07-24 561
SnowNLP 是一个专门用于处理中文文本的 Python库。分词情感分析关键词提取文本分类拼音转换繁体转简体词相似度计算等测试环境：Python3.10.9尚未测出该功能text = "有勇气的牛排写的文章通俗易懂，爱了爱了"文本分类使用的是 SnowNLP 的情感分析模型。
Chapter 18 Python异常
2302_80253507的博客
07-28 796
在Python中，异常是一种特定的对象，能够在程序运行过程中被抛出和处理。有效地管理异常不仅可以增强程序的稳定性，还可以提高用户体验，使程序能够优雅地处理错误情况。本章详细讲解了异常的基本概念以及如何捕获和处理异常。
安卓手机部署大模型实战
奇舞周刊
07-25 774
本文作者系360奇舞团前端开发工程师前言自ChatGPT发布以来，大语言模型（Large language model, LLM)就成了AI乃至整个计算机科学的话题中心。学术界，工业界围绕大语言模型本身及其应用展开了广泛的讨论，大量的新的实践层出不穷。由于LLM对计算资源的需求极大，有能力部署大语言模型的公司和实验室一般通过搭建集群，然后开放API或者网页demo的方式让用户可以使用模型。在人们纷...
【Python数据增强】图像数据集扩充
阿齐Archie
07-25 1843
该脚本用于图像数据增强，特别是目标检测任务中的图像和标签数据增强。通过应用一系列数据增强技术（如旋转、平移、裁剪、加噪声、改变亮度、cutout、翻转等），生成多样化的图像数据集，以提高目标检测模型的鲁棒性和准确性。
python语言利用Tkinter实现GUI计算器|（二）优化计算器：过滤用户不合理的输入
人工智能视觉分析算法学习实践和经验分享。
07-27 578
python语言利用Tkinter实现GUI计算器|（二）优化计算器python语言利用Tkinter实现GUI计算器|（二）计算器打包。
【Python】 基于Q-learning 强化学习的贪吃蛇游戏（源码+论文）【独一无二】
测试开发自动化
07-26 1449
贪吃蛇环境模块：定义了游戏规则、状态空间、动作空间，并实现了环境的重置和步进逻辑。Q-learning 算法代理模块：实现了 Q-learning 算法，用于学习和决策游戏中的动作选择。游戏窗口模块：使用 Tkinter 创建图形界面展示游戏过程，并与环境和 Q-learning 代理进行交互。该设计使得贪吃蛇游戏能够通过强化学习算法进行自动训练，并通过图形界面展示训练过程。👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 强化贪吃蛇 ” 获取，拿来即用。👈👈👈。
第G2周：人脸图像生成（DCGAN）
lihuhelihu的博客
07-23 1002
除了生成器模型的输出层和判别器模型的输入层，在整个对抗网络的其它层上都使用了Batch Normalization，原因是Batch Normalization可以稳定学习，有助于优化初始化参数值不良而导致的训练问题。通过这些层的组合，输入的图像逐渐被降维并提取特征，最终输出一个标量值，表示输入图像被判别为真实图像的概率。总体来说，这段代码实现了GAN的训练过程，通过交替更新判别器和生成器的参数，目标是使生成器生成逼真的图像样本，同时判别器能够准确区分真实图像样本和生成图像样本。
prompt+rag
11-17
根据提供的引用内容，可以得知prompt+RAG的流程如下： 1. 首先，使用Retriever部分在知识库中检索出top-k个匹配的文档zi。 2. 然后，将query和k个文档拼接起来作为QA的prompt，送入seq2seq模型。 3. seq2seq模型生成回复y。 4. 如果需要进行Re-rank，可以使用LLM来rerank，给LLM写好prompt即可。 下面是一个简单的示例代码，演示如何使用prompt+RAG： ```python from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration # 初始化tokenizer、retriever和seq2seq模型 tokenizer = RagTokenizer.from_pretrained('facebook/rag-token-base') retriever = RagRetriever.from_pretrained('facebook/rag-token-base', index_name='exact', use_dummy_dataset=True) model = RagSequenceForGeneration.from_pretrained('facebook/rag-token-base') # 设置query和context query = "What is the capital of France?" context = "France is a country located in Western Europe. Paris, the capital city of France, is known for its romantic ambiance and iconic landmarks such as the Eiffel Tower." # 使用Retriever部分检索top-k个匹配的文档 retrieved_docs = retriever(query) # 将query和k个文档拼接起来作为QA的prompt input_dict = tokenizer.prepare_seq2seq_batch(query, retrieved_docs[:2], return_tensors='pt') generated = model.generate(input_ids=input_dict['input_ids'], attention_mask=input_dict['attention_mask']) # 输出生成的回复 generated_text = tokenizer.batch_decode(generated, skip_special_tokens=True)[0] print(generated_text) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值