llamaindex实战-本地模型和Pandas数据对话

llamaindex实战-本地模型和Pandas数据对话

概述

本文介绍如何使用llamaindex的 PandasQueryEngine引擎,通过使LLM将自然语言转换为 Pandas python 代码。PandasQueryEngine 的输入是 Pandas 数据帧,输出是响应。 LLM 推断要执行的dataframe操作以检索结果。

可以通过python接口把不同数据源的数据读取成Pandas结构中。

注意:该引擎目前还处于实验阶段,有时候会出现语法错误。

实现步骤

(1)准备panda数据集;

(2)创建LLM大模型对象。这里可以使用不同大模型。我这里使用的是本地部署的Ollama中的模型。

(3)创建PandasQueryEngine查询对象;

(4)使用查询引擎对象来查询数据;

完整代码

import logging
import sys
import pandas as pd
from llama_index.experimental.query_engine import PandasQueryEngine
from llama_index.llms.ollama import Ollama

# 准备数据
df = pd.DataFrame(
    {
        "city": ["Toronto", "Tokyo", "Berlin"],
        "population": [2930000, 13960000, 3645000],
    }
)

## 构建LLM模型对象
llm = Ollama(model="llama3", request_timeout=360)

# 创建查询引擎
query_engine = PandasQueryEngine(df=df, llm=llm, verbose=True, synthesize_response=True)

# 查询最高人口数
response = query_engine.query(
    "What is the city with the highest population?",
)

#print(str(response.metadata["pandas_instruction_str"]))
print(str(response.metadata["raw_pandas_output"]))

# 查询平均数
response2 = query_engine.query(
    "What is the average population?",
)
print(str(response.metadata["raw_pandas_output"]))

小结

通过支持pandas,可以让查询引擎变得更加强大。pandas可以把不同数据源的数据变成标准的dataframe格式,这样间接的支持了多种数据源。

参考资料

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值