LlamaIndex 入门实战

LlamaIndex 入门实战

LlamaIndex是一个连接大型语言模型（LLMs）与外部数据的工具，它通过构建索引和提供查询接口，使得大模型能够学习和利用私有或者特定领域的数据。这一工具的出现，极大地
拓展了大型语言模型的应用范围和深度，下面我们就来详细介绍LlamaIndex的基本概念、优劣势、代码示例以及使用场景。

1. 基本概念

LlamaIndex主要由三部分组成：数据连接器、索引结构和查询接口。

1. 数据连接器（Data Connectors）：负责读取外部数据，可以是本地文件、Notion、Google 文档等。
2. 索引结构（Index Structures）：将读取的数据构建成可查询的索引，支持多种索引方式，如向量索引、列表索引、树形索引等。
3. 查询接口（Query Inference）：提供与大模型对话的接口，通过检索索引和组合Prompt，使大模型能够理解和回应基于外部数据的查询。

2. 优劣势分析

优势：

• 扩展性：LlamaIndex使得大型语言模型能够接入和利用更广泛的数据源，极大地扩展了其应用范围。
• 灵活性：支持多种索引结构和查询方式，用户可以根据需要自定义索引和查询逻辑。
• 实时性：通过实时检索外部数据，LlamaIndex能够使大模型提供最新的信息和回答。

劣势：

• 复杂性：构建和管理索引需要一定的技术背景，对于初学者来说可能有一定的学习成本。
• 资源消耗：索引构建和查询可能会消耗较多的计算资源，尤其是在处理大量数据时。

3. 简单代码示例

以下是一个简单的LlamaIndex使用示例，展示了如何读取本地文件、构建索引和查询索引：
安装llamaindex：

pip install llama-index python-dotenv

先准备下数据：
test/test.txt

Overview
NOTE: This README is not updated as frequently as the documentation. Please check out the documentation above for the latest updates!

Context
LLMs are a phenomenal piece of technology for knowledge generation and reasoning. They are pre-trained on large amounts of publicly available data.
How do we best augment LLMs with our own private data?
We need a comprehensive toolkit to help perform this data augmentation for LLMs.

Proposed Solution
That's where LlamaIndex comes in. LlamaIndex is a "data framework" to help you build LLM apps. It provides the following tools:

Offers data connectors to ingest your existing data sources and data formats (APIs, PDFs, docs, SQL, etc.).
Provides ways to structure your data (indices, graphs) so that this data can be easily used with LLMs.
Provides an advanced retrieval/query interface over your data: Feed in any LLM input prompt, get back retrieved context and knowledge-augmented output.
Allows easy integrations with your outer application framework (e.g. with LangChain, Flask, Docker, ChatGPT, anything else).
LlamaIndex provides tools for both beginner users and advanced users. Our high-level API allows beginner users to use LlamaIndex to ingest and query their data in 5 lines of code. Our lower-level APIs allow advanced users to customize and extend any module (data connectors, indices, retrievers, query engines, reranking modules), to fit their needs.

准备环境变量：
.env

OPENAI_API_KEY=sk-xxx
OPENAI_API_BASE = https://api.your-proxy.live/v1
OPENAI_BASE_URL = https://api.your-proxy.live/v1

使用原版openai只需要OPENAI_API_KEY
代理版还需要OPENAI_API_BASE和OPENAI_BASE_URL
保留这个配置，openai相关项目直接通过dotenv导入就好。

跑起：

# 导入所需的库
import os
from dotenv import load_dotenv
load_dotenv(override=True)

# 导入自定义模块
from llama_index import VectorStoreIndex, SimpleDirectoryReader

# 从"test"目录中加载数据
documents = SimpleDirectoryReader("test").load_data()

# 创建向量存储索引
index = VectorStoreIndex.from_documents(documents)

# 将索引转换为查询引擎
query_engine = index.as_query_engine()

# 提出查询并获取响应
response = query_engine.query("llamaindex是什么？")

# 打印响应
print(response)

输出：

使用简单清爽对吧，demo 比较接近 embedchain，有兴趣可以顺便了解一下

4. Index持久化

默认情况下，数据存储在内存中。要持久化到磁盘（存储在"./storage"目录下）：

index.storage_context.persist()

要从磁盘重新加载数据：

from llama_index import StorageContext, load_index_from_storage

# 重新构建存储上下文
storage_context = StorageContext.from_defaults(persist_dir="./storage")
# 加载索引
index = load_index_from_storage(storage_context)

以上代码实现了数据的持久化和重新加载功能。通过调用persist()方法，可以将索引中的数据持久化到磁盘上的指定目录。然后，通过构建存储上下文，并使用load_index_from_storage()函数，可以从磁盘上的存储目录重新加载索引数据。请确保在使用这些功能之前，已经正确配置了存储目录。

5. 使用场景

LlamaIndex适用于需要将大型语言模型与特定领域或私有数据结合使用的场景，例如：

• 知识检索：构建专业知识库，使大模型能够提供专业领域的准确回答。
• 企业内部数据分析：连接企业内部数据，辅助决策分析和报告生成。
• 个性化推荐：根据用户的历史数据和偏好，提供个性化的内容和建议。

6. 总结

LlamaIndex是一个“数据框架”，用于帮助构建LLM应用程序。
它提供了各种工具，包括数据连接器，用于摄取现有数据源和数据格式（API，PDF，文档，SQL等），以及用于将数据结构化（索引，图形）以便与LLM轻松使用的方式。
此外，LlamaIndex还提供了高级的检索/查询接口，可以输入任何LLM输入提示，并返回检索到的上下文和增强知识的输出。
它还允许与外部应用程序框架（如LangChain，Flask，Docker，ChatGPT等）轻松集成。
无论是初学者还是高级用户，LlamaIndex都提供了工具。

• 高级API允许初学者用户在5行代码中使用LlamaIndex来摄取和查询数据。
• 低级API允许高级用户自定义和扩展任何模块（数据连接器，索引，检索器，查询引擎，重新排序模块），以满足他们的需求。

熟悉么？

总之，LlamaIndex为大型语言模型的应用提供了更多可能性，通过连接外部数据，可以使大模型在更多领域发挥更大的作用。