NeuralStyle(神经元的格式)
目标:输入一张基于内容的图片和一张基于格式的图片,生成一张新的图片。
模型:拉下来一个预训练好(W权重训练好的)的CNN模型
损失函数:
实现思路:
M1:偏内容的图,M2:偏风格的图,M3:随机初始化的图
step 1:通过预训练好的CNN对M1,M2,M3进行feature map
step 2:通过content损失和style损失的共权重来衡量生成M3的效果!
step 3:不断的进行迭代即可,也可通过loss的超参数来选择偏风格or偏内容
迁移学习
引出:在深度学习中解决问题,最常见的障碍在于我需要很多的样本去训练大量的参数,是需要海量数据作支撑的。
但是,往往实际中却只有少量数据,而想使用深度学习解决问题,这就引出了迁移学习!
少量数据无法使用深度学习去解决的原因?太容易过拟合了,参数太多样本数量支撑不了很好的学习,结果只是死记硬背过拟合
介绍:当前任务可能和以前训练好的模型有某种关联,相似domain的不同任务,不同领域的相似任务.....
保守训练(Conservative Training)
思想:因为原始模型和当前少量数据,可能具有某种关联,所以在不大幅度改变原有权重(否则过拟合)的情况下,
去学习一个新的模型。
策略:怎样不大幅度改变原有模型权重?加入对(W-W')的正则化项!W'变得越小那么正则化项越大,损失会越大的!
层迁移(Multitask Learning多任务学习)
思想:使用层迁移,只利用部分层的的参数进行模型学习(来防止过拟合)!
策略:应该复用哪些层呢?
语音:通常是最后一些层,因为特征提取的更深,更抽象
图片:通常是开始的一些层,只是希望寻求一种图片的一种模式而已!
域对抗学习
任务:源数据有标签,目标数据无标签
模型:对抗生成网络,
生成器(不带标签图片):最大化损失函数,(每次求上界中的下界)
判别器(带标签图片):最小化损失函数,(每次求下界)
迁移学习总结:有监督到有监督的迁移学习(前两种应用最多),域对抗因为是无监督的学习所以还好啦!