迁移学习三——BDA和W-BDA

最新推荐文章于 2024-06-13 09:30:00 发布

ZLBryant

最新推荐文章于 2024-06-13 09:30:00 发布

阅读量3.5k

点赞数 5

分类专栏：机器学习迁移学习文章标签：迁移学习 BDA W-BDA

本文链接：https://blog.csdn.net/qq_40824311/article/details/102731444

版权

本文深入探讨了《Balanced Distribution Adaptation for Transfer Learning》中提出的BDA和W-BDA方法。BDA通过引入权衡因子μ处理边缘分布与条件分布的平衡问题，而W-BDA则针对类别不平衡的迁移学习任务，利用权重矩阵改进适应性。两者的优化目标函数在JDA的基础上进行了扩展，并在实际应用中提供了更多的灵活性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是对《Balanced Distribution Adaptation for Transfer Learning》进行学习。

问题引入

回顾之前的JDA，其目标函数是：
$min_{A}\sum_{c=0}^{C}tr(A^{T}XM_{c}X^{T}A)+\lambda \begin{Vmatrix} A \end{Vmatrix}_{F}^{2}$
$s.t.A^{T}KHK^{T}A=I$
其中c=0表示的是边缘分布，c=1,…,C表示的各类别的条件分布，可以看出边缘分布和条件分布是被同等对待的，这会导致实际应用中表现较差。当数据集不相似时，减小边缘分布差异更为重要；当数据集相似时，减小条件分布更值得注意。针对这个问题，论文提出了BDA，对两者之间进行了权衡，可以很好地应用到一些特定的迁移学习任务中。
另外现存的方法都假设数据集是平衡的，这也算法限制了在不平衡数据集上的任务的表现，Weighted Balanced Distribution
Adaptation（W-BDA）则用于处理迁移学习中的类别不平衡问题，在每个类别上加入了权重。

BDA

学习过JDA后可以很容易的推出BDA的形式，我们在边缘分布和条件分布之间引入权衡因数 $\mu$ ，那么上述目标函数可以表示为：
$min_{A}tr(A^{T}X((1-\mu)M_{0}+\mu\sum_{c=1}^{C}M_{c})X^{T}A)+\lambda \begin{Vmatrix} A \end{Vmatrix}_{F}^{2}$

最低0.47元/天解锁文章