元学习 meta-learning

元学习(meta-learning)旨在处理数据稀少情况,通过学习任务的通用初始化参数来提升模型的泛化能力。MAML是一种元学习算法,通过梯度下降寻找接近所有任务最优解的参数点。Meta-SGD则进一步考虑了学习率的更新,同时优化模型参数θ和步长α。
摘要由CSDN通过智能技术生成

总结一下元学习的概念

meta-learning主要是为了解决冷启动或者数据很少的情况,它的想法是学习到任务空间中的一个最优点,这个点与所有任务的最优解是最近的,也就是说学习到一个更好的泛化模型。本质上来说,meta-learning学习的其实是模型参数的一个最优初始化参数。

MAML
下面这幅图比较形象地说明了MAML学习的过程:
在这里插入图片描述
θ {\theta} θ代表一个任务模型的参数矩阵,比如说CNN的权重等等。meta-learner就是通过梯度下降去逼近离 θ

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
>