迁移学习与增量学习

日常处理数据过程中,我们会遇到新数据的增加这个问题,我们既想增加新数据,又想利用原先的模型,迁移学习和增量学习就应运而生了,而且在今后的发展中,此类问题会越来越频发。

首先推荐几篇博客来探讨一下这个问题:1)Xgboost之增量学习https://blog.csdn.net/xieyan0811/article/details/82949236;2)浅谈迁移学习,增量学习https://blog.csdn.net/Chris_zhangrx/article/details/84786399;3)增强学习、增量学习、迁移学习——概念性认知https://blog.csdn.net/zyazky/article/details/51942135;4)机器学习基础--各种学习方式(30)--增量学习https://blog.csdn.net/wydbyxr/article/details/81327590

增量学习与迁移学习最大的区别在于,增量仅仅是量的增加,迁移可能有质的改变。当然这也是有着量变到质变的可能性。

增量学习指的是单纯的数据增加,在原模型的基础之上进行训练,在树结构上的增量学习参考博客1中说的比较详细,这种方法适用于新的数据相较老的数据具有更高的可信度,同时老的数据比新的数据多的情况。

迁移学习指的是用已存有的知识对不同但相关领域问题进行求解的一种机器学习方法。通常迁移学习的数据集与原模型的数据集相差比较大,但是存在一些较深层次的联系。

其中非常常见的问题就是catastrophic forgetting问题,即灾难性遗忘问题,就是指新数据对模型的影响太大,导致了原模型的失效,常见的就是过拟合了新数据,或者新数据把模型带偏。这一点可以参考论文https://www.pnas.org/content/pnas/114/13/3521.full.pdf

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值