InternLM + LlamaIndex RAG 实践作业

pierrot106

已于 2024-08-01 15:01:00 修改

阅读量50

点赞数 2

文章标签： python

于 2024-08-01 14:55:21 首次发布

本文链接：https://blog.csdn.net/weixin_56230406/article/details/140847925

版权

Question：画江湖之不良人中李星云的剑叫什么？

After RAG

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

pierrot106

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
InternLM + LlamaIndex RAG 实践作业

After RAG。
复制链接

扫一扫

使用RAGAs + LlamaIndex进行RAG评估

安静的软件工程师

02-24

1928

使用RAGAs + LlamaIndex进行RAG评估

LlamaIndex 创始人 Jerry Liu 介绍 RAG、Agent 痛点以及解决方法

07-14

LlamaIndex 创始人 Jerry Liu 介绍 RAG、Agent 痛点以及解决方法

参与评论您还未登录，请先登录后发表或查看评论

作业：InternLM + LlamaIndex RAG 实践

soul_sniper的博客

07-10

372

一、启动开发机启动30% A100机器。进入开发机后，从官方环境复制运行 InternLM 的基础环境，命名为llamaindex复制完成后，在本地查看环境。结果如下所示。运行conda命令，激活llamaindex。

书生浦语之：InternLM + LlamaIndex RAG 实践

XUTINGZHANGLOVE的专栏

07-27

409

（我们也可以选用别的开源词向量模型来进行 Embedding，目前选用这个模型是相对轻量、支持中文且效果较好的，同学们可以自由尝试别的开源词向量模型）正常情况下，其会自动从互联网上下载，但可能由于网络原因会导致下载中断，此处我们可以从国内仓库镜像地址下载相关资源，保存到服务器上。在使用开源词向量模型构建开源词向量的时候，需要用到第三方库。运行以下指令，新建一个python文件。将InternLM2 1.8B引用出来。之后运行该python文件。新建一个python文件。新建python文件。

书生大模型实战营 InternLM + LlamaIndex RAG 实践

m19735499476的博客

08-01

使用开源 Sentence Transformer作为embedding。根据教程获取rag之后的回复。又问了个问题，也不知道对不对。这个rag的效果非常好。未导入自己的数据集之前。

免费白嫖A100活动开始啦，InternLM + LlamaIndex RAG 实践

Aorg1的博客

07-09

446

LlamaIndex 是一个上下文增强的 LLM 框架，旨在通过将其与特定上下文数据集集成，增强大型语言模型（LLMs）的能力。通过 llamaindex 运行 InternLM2 1.8B，询问“你是谁”，将运行结果截图。通过 llamaindex 实现知识库检索，询问两个问题将运行结果截图。这里在测试使用大模型是否正常输出,并且跟后续加入RAG后效果对比。问题2：xtuner支持那些模型？xtuner是什么?书生集成的微调,测试大模型平台。问题1：xtuner是什么?xtuner支持哪些模型。

书生大模型实战营3期 - 基础岛 - 4 - InternLM + LlamaIndex RAG 实践

wocsdn111的博客

07-29

370

【代码】书生大模型实战营3期 - 基础岛 - 4 - InternLM + LlamaIndex RAG 实践。

书生浦语大模型实战营第三期 L1 InternLM + LlamaIndex RAG 实践学习笔记

yizhiboshanshan的博客

07-30

158

结果如下，加入xtuner项目的说明文档后，大模型可以回答出“xtuner是什么?--local-dir后接本地下载的地址，运行该代码，完成源词向量模型。

书生大模型实战营（第三期闯关大挑战）- 基础岛第四关 InternLM + LlamaIndex RAG 实践

个人技术

07-27

266

本文章主要介绍了LlamaIndex RAG增强检索功能

llamaindex+Internlm2 RAG实践

最新发布

qq_43650129的博客

08-01

659

给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考。:（我们也可以选用别的开源词向量模型来进行 Embedding，目前选用这个模型是相对轻量、支持中文且效果较好的，同学们可以自由尝试别的开源词向量模型）运行以下指令，新建一个python文件。然后在命令行点击，licalhost的 url。

Langchain-一个简单的基于Langchain+RAG的应用示例-附项目源码+流程教程-优质项目实战.zip

07-22

Langchain_一个简单的基于Langchain+RAG的应用示例_附项目源码+流程教程_优质项目实战

RAG本地离线训练自己的ChatPDF

02-05

RAG训练用PDF样例（太平洋金诺人生保险条款）

05-22

02-19

快醒醒，别睡了!...讲《数据分析pandas库》了—/—＜4＞

qq_64603703的博客

07-27

1049

详细解说数据分析pandas库中的常用方法

全网最详细Gradio教程系列5——Gradio Client: python

shao918516的博客

07-26

1145

程序部署完成后，如何将Gradio App作为API访问使用呢，这就用到Gradio Client。本章讲解Gradio Client的三种使用方式：python、javascript和curl，受字数限制，所以分三篇博客发布。使用Gradio Python Client非常易于将Gradio应用程序作为API使用，本节讲述gradio_client安装、如何连接Gradio应用程序、查看可用API及其使用方式、job及session等用法。通过Gradio Python Cli

Chapter 18 Python异常

2302_80253507的博客

07-28

1277

在Python中，异常是一种特定的对象，能够在程序运行过程中被抛出和处理。有效地管理异常不仅可以增强程序的稳定性，还可以提高用户体验，使程序能够优雅地处理错误情况。本章详细讲解了异常的基本概念以及如何捕获和处理异常。

python字符串数据容器练习（replace,split,count）

2301_79600015的博客

07-31

362

Python字符串是由一系列字符组成的数据类型。在Python中，字符串是不可变的，这意味着一旦创建了一个字符串，就不能修改它的内容。以下是关于Python字符串的一些重要知识点：1. 字符串的基本操作：拼接字符串：使用`+`运算符。重复字符串：使用`*`运算符。索引和切片：使用`[]`和`:`操作符访问字符串中的子串。长度：使用`len()`函数获取字符串长度。转换大小写：使用`upper()`和`lower()`方法。分割和连接：使用`split()`和`join()`方法。

prompt+rag

11-17

根据提供的引用内容，可以得知prompt+RAG的流程如下： 1. 首先，使用Retriever部分在知识库中检索出top-k个匹配的文档zi。 2. 然后，将query和k个文档拼接起来作为QA的prompt，送入seq2seq模型。 3. seq2seq模型生成回复y。 4. 如果需要进行Re-rank，可以使用LLM来rerank，给LLM写好prompt即可。下面是一个简单的示例代码，演示如何使用prompt+RAG： ```python from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration # 初始化tokenizer、retriever和seq2seq模型 tokenizer = RagTokenizer.from_pretrained('facebook/rag-token-base') retriever = RagRetriever.from_pretrained('facebook/rag-token-base', index_name='exact', use_dummy_dataset=True) model = RagSequenceForGeneration.from_pretrained('facebook/rag-token-base') # 设置query和context query = "What is the capital of France?" context = "France is a country located in Western Europe. Paris, the capital city of France, is known for its romantic ambiance and iconic landmarks such as the Eiffel Tower." # 使用Retriever部分检索top-k个匹配的文档 retrieved_docs = retriever(query) # 将query和k个文档拼接起来作为QA的prompt input_dict = tokenizer.prepare_seq2seq_batch(query, retrieved_docs[:2], return_tensors='pt') generated = model.generate(input_ids=input_dict['input_ids'], attention_mask=input_dict['attention_mask']) # 输出生成的回复 generated_text = tokenizer.batch_decode(generated, skip_special_tokens=True)[0] print(generated_text) ```