Learning with Local and Global Consistency

这篇博客探讨了半监督学习中的一致性假设,包括局部和全局一致性,并介绍了一个迭代算法,通过让每个数据点传播其标签信息来实现全局稳定。算法的关键在于构建一个平滑的分类函数,通过邻接点间的信息交换逐步预测未标注数据的标签。正则化框架提供了对算法的损失函数和收敛性的理解。
摘要由CSDN通过智能技术生成

简介

半监督学习问题(直推推断)的主要方法设计一个相对于intrinsic structure平滑的分类函数,本证结构由已标注和未标注的数据揭露。
给定一组数据 X={ x1,...,xl,xl+1,...,xn} 以及一个标签集合 L={ 1,2,...,c} ,前l个数据已有标签,剩下的没有,算法的性能由这些未标注的数据的错误率测量。
半监督学习的的关键是一致性先验假设(prior assumption of consistency)。这意味着

  • 靠近的数据点可能有相同的标签。
  • 有相同结构的的数据点可能有相同的标签。
    这个论点很类似与聚类假设。前一个假设是局部的,后一个全局的。经典的监督学习方法大部分只是应用了第一种假设。

The main differences between the various semi-supervised learning algorithms, such as spectral methods, random walks, graph mincuts and transductive SVM, lie in their way of realizing the assumption of consistency.

一个简单的迭代算法可以构造一个平滑的函数。文中方法的关键是让每个点iteratively spread 他的标签信息到他的临近,直到实现全局稳定 。

算法

Given a point set X={ x1,...,xl,xl+1,...,xn}Rm and a label set L={ 1,...,c} the first l points xi(il) are labeled as yiL

学习邻居一致性是一种用于处理噪声标签的方法。在现实中,数据集中的标签常常会受到一些错误或噪声的影响,这会对模型的训练和泛化能力造成不利影响。而学习邻居一致性则通过考虑样本的邻居关系来进一步提高模型的鲁棒性。 学习邻居一致性方法的核心思想是基于数据的局部性原理,即相似的样本倾向于具有相似的标签。该方法通过比较样本的标签,检测和修复噪声标签,并将不确定性信息引入模型训练过程中。 具体而言,学习邻居一致性方法会首先构建一个样本的邻居图,其中每个样本的邻居是根据特征相似性确定的。然后,该方法会使用邻居信息来计算每个样本的标签一致性得分。通过比较样本自身的标签和邻居的标签,可以有效地检测和纠正噪声标签。 在模型的训练过程中,学习邻居一致性方法会引入一个邻居一致性损失函数,用于最大化样本与其邻居的标签一致性得分。这样,模型会倾向于对邻居们的标签一致性进行学习,从而提高模型的鲁棒性和泛化能力。 总而言之,学习邻居一致性方法通过考虑样本的邻居关系来处理噪声标签。它通过检测和修正噪声标签,引入不确定性信息,并最大化标签一致性得分来提高模型的鲁棒性。这种方法在处理噪声标签方面具有一定的优势,并可在实际应用中取得良好的效果。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值