Learning with local and global consistency阅读报告NIPS2003

这篇论文提出了一种半监督学习方法,利用“平滑”理论,在标签样本和无标签样本间传递类标信息,通过迭代优化达到全局稳定状态。核心思想是样本分类的平滑性和对原始标签的保留,适用于图像分类等任务,算法简单而有效。
摘要由CSDN通过智能技术生成

该论文被NIPS2003收录,目前已被引用3011次,无疑是经典中的经典。提出了一种基于“smooth”理论的半监督学习方法,方法实现简单、有效。

这里所说的“smooth”是指:在半监督学习问题中,算法学习到的分类目标函数,相对于标签样本和无标签样本所共同显示的内在结构,应该足够平滑(smooth)。

算法基于两个重要的假设:(1)空间中距离越近的点,越倾向于拥有同样的标签;(2)处于同一个结构(簇、流形等)的样本,倾向于拥有同样的标签。

算法的核心思想:让每一个样本的类标信息在空间中进行传递,直到达到某种合适的全局状态。

算法内容
设样本集合X={x1,...,xl,xl+1,...,xn},标签集合L={1,...,c}。样本集合中前l个为带标签样本,其余为不带标签样本。算法的目标就是预测不带标签样本的标签。

设一个nxc的矩阵F,每行代表一个样本,且每行中最大的元素的位置就是该样本的标签。定义一个nxc的标签矩阵Y,若Yij = 1,则表明标签yi=j。

定义一个迭代算法,具体步骤为:
a)定义一个关联矩阵W,用来表示样本之间的空间位置关系,且其对角线元素为0。

学习邻居一致性是一种用于处理噪声标签的方法。在现实中,数据集中的标签常常会受到一些错误或噪声的影响,这会对模型的训练和泛化能力造成不利影响。而学习邻居一致性则通过考虑样本的邻居关系来进一步提高模型的鲁棒性。 学习邻居一致性方法的核心思想是基于数据的局部性原理,即相似的样本倾向于具有相似的标签。该方法通过比较样本的标签,检测和修复噪声标签,并将不确定性信息引入模型训练过程中。 具体而言,学习邻居一致性方法会首先构建一个样本的邻居图,其中每个样本的邻居是根据特征相似性确定的。然后,该方法会使用邻居信息来计算每个样本的标签一致性得分。通过比较样本自身的标签和邻居的标签,可以有效地检测和纠正噪声标签。 在模型的训练过程中,学习邻居一致性方法会引入一个邻居一致性损失函数,用于最大化样本与其邻居的标签一致性得分。这样,模型会倾向于对邻居们的标签一致性进行学习,从而提高模型的鲁棒性和泛化能力。 总而言之,学习邻居一致性方法通过考虑样本的邻居关系来处理噪声标签。它通过检测和修正噪声标签,引入不确定性信息,并最大化标签一致性得分来提高模型的鲁棒性。这种方法在处理噪声标签方面具有一定的优势,并可在实际应用中取得良好的效果。
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值