半监督学习:sheng的学习笔记-AI-半监督学习-CSDN博客
什么是图半监督学习
给定一个数据集,我们可将其映射为一个图,数据集中每个样本对应于图中一个结点,若两个样本之间的相似度很高(或相关性很强),则对应的结点之间存在一条边,边的“强度”(strength)正比于样本之间的相似度(或相关性)。
我们可将有标记样本所对应的结点想象为染过色,而未标记样本所对应的结点尚未染色。于是,半监督学习就对应于“颜色”在图上扩散或传播的过程。由于一个图对应了一个矩阵,这就使得我们能基于矩阵运算来进行半监督学习算法的推导与分析。这就是标记传播算法label propagation
下面这一坨的算法,看看就得了,反正我也没看懂
二分类问题的标记传播
原理
能量函数
标签传播算法假定在满足约束条件的条件下,能量函数 最低。其中约束条件为:
最优化求解
多类标签传播算法
迭代式标记算法
其实上述算法都对应于正则化框架:
结论
1)虽然二类标签传播算法和多类标签传播算法理论上都收敛,而且都知道解析解。但是:
因此标签传播算法一般选择迭代算法来实现。
2)图半监督学习方法在概念上相当清晰,且易于通过对所涉及矩阵运算的分析来探索算法性质。
缺点:
- 在存储开销上较大,使得此类算法很难直接处理大规模数据。
- 由于构图过程仅能考虑训练样本集,难以判断新的样本在图中的位置。因此在接收到新样本时,要么将其加入原数据集对图进行重构并重新进行标记传播,要么引入额外的预测机制。
参考:
12.半监督学习 - 三、图半监督学习 - 《AI算法工程师手册》 - 书栈网 · BookStack
机器学习 书