33、开放世界机器学习与需求不一致检测方法研究

开放世界机器学习与需求不一致检测方法研究

1. 开放世界机器学习中未知类别的识别

1.1 相关研究综述

在图像和自然语言处理领域，分类任务里检测未知对象是一个常见问题。早在24年前，就有人提出了开放世界机器学习，它是持续机器学习的一部分。此后，众多学者提出了不同模型和架构来解决未知实例的识别问题：
- 有学者提出了One - Vs - Set模型用于识别开放集。
- 还有学者提出了适用于多类设置的开放空间和非线性开放集再殖民化模型，该模型能区分可用数据的开放空间和已知空间，降低开放空间的预测概率以识别未知对象。
- 基于卷积神经网络（CNN）的深度开放分类（DOC）架构被提出，其分层架构包含嵌入层、卷积层、池化层和输出层，并使用One - Vs - Rest概念对未知数据进行分类。
- 有基于朴素经典方法的余弦相似度模型用于文档分类，该模型计算整个文档的向量，并使用Weibull层进行深度分类，同时使用Word2Vec进行数据编码。
- 也有一些工作致力于增加新类别的知识库，以提高模型在遇到未知对象时的分类准确性。另外，还有基于元学习的框架用于对未知实例进行分类。

1.2 提出的方法

1.2.1 模型整体结构

提出的模型主要由两个模块组成：
- 基于卷积神经网络（CNN）的模型，用于识别未知类别。
- 聚类模型，用于找出第一个模块发现的未知查询中可能的新类别数量。

下面是该模型的mermaid流程图：

graph LR
    A[输入数据] -->