pingguolou的博客

定义AlexNet模型。

通过对先前的经验反复迭代更新当前参数的概率分布，从而找到最佳参数的方法，就是贝叶斯优化。这种方法不断地使用当前最佳估计，尝试下一个点，并使用新的观测数据进行调整，这样每次使用的点都会更加有效，从而加快寻找优化的速度。使用贝叶斯优化进行参数优化时，我们需要将优化目标定义为一个函数，在这个例子中是rfc_cv。接下来，我们定义我们的参数空间，并使用贝叶斯优化器对参数进行迭代优化。基本思想是将我们在过去的观察和体验，传递到下一个尝试中，从而在等待数据的反馈时，逐渐提高任务的成功率。

XGBoost 的基本原理和 Gradient Boosting 类似，都是采用加法模型的形式来建立基本分类器集合，不过和普通的 Gradient Boosting 不同的是，XGBoost 通过对损失函数进行二阶泰勒展开并采用新的代价函数，引入了正则化项，增加了模型的鲁棒性，避免过拟合，并且引入了特征子采样和使用列存储块来减小计算开销，大幅提高了算法在大量数据下的效率。fm = np.log(Pm / (1 - Pm)) + 0.5 * np.log((1 - Pm) / Pm) # 计算更新值。

深度学习之神经网络优化方法

深度学习值过拟合和欠拟合

Le-Net、AlexNet、VggNet、googlenet、Resnet的发展与区别

1-vs-set(定义，风险最小化问题，二分类隔板1-vs-set svm)W-SVM（多分类，CAP,匹配和非匹配EVT，RBF核保证风险有界）EVM：引入距离到极值理论中，类似于对抗代换点的概念，也有有限开放空间风险。SENCForest：引入完全随机树SENC-MaS：Class Matrix Sketching用低秩矩阵来近似原始信息，降低复杂度GPD+GEV: 改进EVM的部分缺陷，克服EVM已知类和未知类的几何形状不同时的开放集识别任务HFCN and HPLS:？非主流方法LACU-SVM：L

摘要在开放世界中的图像分类必须处理OD（Overtof-distribution）图像。系统最好能拒绝OOD图像，否则它们会映射到已知类别的顶部并降低可靠性。使用能够拒绝OOD输入的开放集分类器会有帮助。然而，开放集分类器的最佳精度取决于OOD数据的频率。因此，无论是标准分类器还是开放集分类器，重要的是能够确定世界何时发生变化，增加OOD输入将导致系统可靠性降低。然而，在操作过程中，由于没有标签，我们无法直接评估准确性。因此，这些分类器的可靠性评估必须由人类操作者来完成，由于网络不是100%的准确，所以一些

我们列举了一些重要的基于生成方式的开放集识别方法，仅供参考

摘要。半监督学习（SSL）已经被提出来，当只有有限的标记数据可用时，可以利用未标记的数据来训练强大的模型。虽然现有的半监督学习方法假设标记数据和未标记数据中的样本共享它们的类别，但我们解决了一个更复杂的新场景，即开放集的半监督学习，其中未标记的数据中包含了非分布式（OOD）样本。我们提出了一个多任务课程学习框架，而不是分别训练OOD检测器和SSL。1 引言在深度学习方法取得了一些突破之后，深度神经网络（DNN）在各种机器感知任务上取得了令人印象深刻的结果，甚至超过了人类，如图像分类[8][26]、人脸识别[

摘要监督分类方法通常假定评估数据来自与训练数据相同的分布，并且所有的类在训练中都存在。然而，现实世界的分类器必须处理远离训练分布的输入，包括来自未知类别的样本。开放集的鲁棒性是指将以前未见过的类别的样本正确地标记为新的，并避免高置信度、不正确的预测的能力。现有的方法集中在新的推理方法、独特的训练结构或用额外的背景样本补充训练数据。 在这里，我们提出了一个简单的正则化技术，很容易应用于现有的卷积神经网络结构，在没有背景数据集的情况下提高开放集鲁棒性。我们的方法在开放集分类基线上取得了最先进的结果，并且很容易扩

用生成式对抗网络生成的假数据进行正则化分类器的开放集识别摘要我们提出了一种新的方法，在生成对抗网络（GANs）框架内生成未知类别的假数据。GANs中的生成器被训练成与已知类别的数据有些相似，但不同的是，它通过使用提议的边际去噪自动编码器对分类器的特征空间进行噪声分布建模来生成。生成的数据被视为未知类别的假实例，并交给分类器，使其对真正的未知类别具有鲁棒性。我们的研究结果表明，合成数据可以作为假的未知类，并降低分类器对真正的未知类的确定性，同时，已知类的分类能力没有退化，甚至有所提高。1.引言深度学习在各个领

摘要在现实世界的分类任务中，很难从环境中所有可能的类别中收集训练样本。因此，当一个未见过的类别的实例出现在预测阶段时，一个强大的分类器应该能够分辨出它是来自一个未见过的类别，而不是把它归类为任何已知的类别。1 引言随着机器学习技术在越来越多的应用中被采用，它们能被应用于开放和非稳定的环境中是很有吸引力的，在这些环境中，未曾见过的情况会意外地出现。对于分类，一个典型的学习任务，经典的方法隐含地假设数据是i.i.d.的，即使是未来的测试数据。这一假设在开放环境中不再成立，这大大削弱了经典分类方法的稳健性。在这项

摘要开放集识别是为了同时识别已知类和拒绝未知类。具体来说，识别已知类和拒绝未知类分别对应于降低经验风险和开放空间风险。在本文中，大量的实验证明了所提出的模型的性能优于目前其他作品。引言近年来，随着人工智能技术的发展，深度学习的应用已经渗透到生活的许多方面，如图像识别和语音识别[1]，[2]。一般来说，大部分的识别研究都集中在封闭集识别（CSR）上，其测试集和训练集有相同的数据类别。然而，在实际应用中，由于实际使用场景的复杂性，测试集的类别可能与训练集的类别不完全一致。这种在测试集中可能包含大量未知类的目标识

Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection摘要尽管大多数现有的异常检测研究只假设有正常的训练样本，但在许多现实世界的应用中往往有一些标记的异常例子，如随机质量检查中发现的缺陷样本，日常医疗检查中由放射科医生确认的病变图像等。这些异常例子提供了关于特定应用异常的有价值的知识，使得在最近的一些模型中对类似异常的检测有了明显的改善。然而，在训练过程中看到的那些异常往往不能说明每一种可能的异常类别，使得这些模型

摘要鉴于对世界上存在的类的不完全了解，开放集识别（OSR）使网络在训练后能够识别和拒绝未见过的类。这个打破常见的封闭集假设的问题还远远没有得到解决。最近的研究集中在设计新的损失、神经网络编码结构和校准方法来优化OSR相关任务的特征空间。在这项工作中，我们首次尝试在开放集假设下通过搜索神经网络（NN）的结构来解决OSR问题。我们在5个OSR数据集上展示了这个学习管道的好处，包括MNIST、SVHN、CIFAR10、CIFARAdd10和CIFARAdd50，其中我们的方法优于之前由人类设计的先进网络。为了激发

LUNA: 将不熟悉的地方靠近熟悉的地方，用于开放式的长尾识别在物体识别中，预定义的人工平衡训练类在建模物体不平衡分布的未知类的真实场景中能力有限。在本文中，我们讨论了一种利用度量学习来解决开放集长尾识别（OLTR）任务的有希望的方案。我们提出的方法在公共基准数据集上，包括我们自己新引入的关于海洋物种的细粒度OLTR数据集（MSLT），在封闭集识别精度上超过最先进的算法4-6%，在开放集下的F-measure上超过4%，这是第一个自然分布的OLTR数据集，揭示了类别的真正遗传关系。综上所述，我们声称我们的贡

Open Set Recognition using Vision Transformer with an Additional Detection Head使用带有附加检测头的视觉Transformer 进行开放集识别深度神经网络在封闭集设置中的图像分类任务中表现出突出的能力，其中测试数据来自与训练数据相同的分布。然而，在一个更现实的开放集场景中，具有不完整知识的传统分类器无法处理不属于训练类的测试数据。开放集识别（OSR）旨在通过同时识别未知类和区分已知类来解决这个问题。在本文中，我们提出了一种基于视觉

PMAL: Open Set Recognition via Robust Prototype Mining摘要开放集识别（OSR）是一个新兴的话题。 除了识别预定的类别，系统还需要拒绝未知的东西。原型学习是处理该问题的一种潜在方式，因为在区分已知和未知时，非常需要其提高类内表征的紧凑性的能力。在这项工作中，我们提出了一个新的原型挖掘和学习（PMAL）框架。它在优化嵌入空间的阶段之前有一个原型挖掘机制，明确考虑了两个关键属性，即原型集的高质量和多样性。具体来说，引言经典的图像分类问题通常是基于近似集的假设

用干净的对抗性学习进行开放集对抗性防御摘要开放集识别和对抗性防御研究了深度学习的两个关键方面，这对现实世界的部署至关重要。开放集识别的目的是在测试过程中识别开放集类的样本，而对抗性防御的目的是使网络对受不可察觉的对抗性噪声干扰的图像具有鲁棒性。在这些观察的激励下，我们强调了开放集对抗性防御（OSAD）机制的必要性。本文提出了一个带有清洁对抗相互学习（OSDN-CAML）的开放集防御网络作为OSAD问题的解决方案。所提出的网络设计了一个带有双注意特征去噪层的编码器，与一个分类器一起学习无噪音的潜在特征表示，它