20-----提取 QA 以构建结构化数据

最新推荐文章于 2024-09-16 13:46:43 发布

Q shen

最新推荐文章于 2024-09-16 13:46:43 发布

阅读量187

点赞数

分类专栏： txtai 教程系列（45 部分系列）文章标签： python 开发语言

本文链接：https://blog.csdn.net/qq_52010446/article/details/130540857

版权

本文介绍了一种使用机器学习和提取式问答（QA）从非结构化数据中提取信息的方法，通过训练QA模型进行少样本学习，然后解析文本数据，将其转化为结构化的DataFrame，同时展示了如何添加额外的情感分析列。

摘要由CSDN通过智能技术生成

20
传统的 ETL/数据解析系统建立规则来提取感兴趣的信息。正则表达式、字符串解析和类似的方法定义了固定的规则。这在很多情况下都有效，但如果您处理的是包含大量变体的非结构化数据怎么办？随着时间的推移，这些规则可能会很麻烦并且难以维护。

该笔记本使用机器学习和提取式问答 (QA) 来利用大型语言模型中内置的大量知识。这些模型已经在非常大的数据集上进行了训练，学习了自然语言的多种变体。

安装依赖
安装txtai和所有依赖项。
pip install txtai
使用少样本学习训练 QA 模型
下面的代码使用几个示例训练了一个新的 QA 模型。这些示例为模型提供了关于将要提出的问题类型和要寻找的答案类型的提示。如下所示，不需要很多示例即可执行此操作。
import pandas as pd
from txtai.pipeline import HFTrainer, Questions, Labels

Training data for few-shot learning

data = [
{“question”: “What is the url?”,
“context”: “Faiss (https://github.com/facebookresearch/faiss) is a library for efficient similarity search.”,
“answers”: “https://github.com/facebookresearch/faiss”},
{“question”: “What is the url”, “context”: “The last release was Wed Sept 25 2021”, “answers”: None},
{“question”: “What is the date?”, “context”: “The l