调参技巧
lgy_keira
这个作者很懒,什么都没留下…
展开
-
finetune/迁移学习 问题
主网络:VGG19 参数: imagenet finetune最后一层,动作分类,10类 最高精度:0.59 loss2.1 其他精度:0.55 loss 1.4710类的cross entrophy精度-ln0.1 =2.3 问题1:为什么loss最低的,精度反而不是最高 问题2:精度不高 问题分析: 新的数据库较小,并且和pre-trained model所使用的训练数据...原创 2018-09-10 21:40:16 · 787 阅读 · 0 评论 -
[调参] 初始化不正确
输出keras每层激励的方差如果参数初始化不正确,那整个训练过程会越来越慢,甚至直接停掉。不过我们可以很容易发现这个问题。表现最明显的数据是每一层的激励和梯度的方差(波动状况)。举个例子说,如果初始化不正确,很有可能从前到后逐层的激励(激励函数的输入部分)方差变化是如下的状况: 我们用标准差为0.01均值为0的高斯分布值来初始化权重(这不合理)Layer 0: Variance: 1...转载 2018-09-14 11:11:00 · 256 阅读 · 0 评论 -
图像数据增强的若干方法
图像分类的数据集非常大。尽管如此,依然需要数据增强来提高模型泛化能力。数据增强一般包括重新缩放图像的随机裁剪、随机水平翻转、随机 RGB 颜色与亮度变换等技术。此外,也存在不同的缩放、裁剪等技术(即单尺度训练 vs 多尺度训练)。在测试阶段进行多裁剪评估也是经常使用的途径,不过该方案的计算成本更昂贵且性能改进有限。请注意,随机缩放和裁剪的目标是在不同尺寸和位置上学习对象的重要特征。Keras 并...原创 2018-10-01 15:49:50 · 2208 阅读 · 0 评论 -
attention map注意力可视化 feature map可视化
prepare1.加载模型,利用get_layer 来获取某一层的参数 (为了attention map)将attention map,当做二值图片?resize,再与原图相乘2.每次输入一张图片,利用model.predict获取某一层的feature map的输出参考博客1...原创 2018-09-20 20:15:01 · 29149 阅读 · 9 评论 -
过拟合怎么办
增加样本增加样本和预处理应该是最靠谱的方法dropout在容易过拟合的层前加drop,比如全连接层,还有lstm层,lstm层基本就是4倍的kernel×input_dim的一个全连接层正则化慢慢调了,正则化的幅度最好不要掩盖原有loss分类的幅度l1正则化会使参数变得稀疏,具有更强的维度选择性l2正则化会使模型的参数整体不至于太大。early stop治标不治本…你要想停随时...原创 2018-09-30 10:59:58 · 1011 阅读 · 0 评论