2017年08月_sinat_16985427

10月 08月 02月 01月

原创梯度爆炸与梯度消失

梯度不稳定问题　　根本原因在于前面层上的梯度是来自于后面层上梯度的乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景。　　梯度消失导致DNN的前面几层权值得不到更新，相当于对输入做同一映射，仍接近初始值，等价于浅层神经网络，梯度消失　　sigmoid导函数为负的二次曲线有最大值。梯度爆炸　　量化分析　　　　可以考虑使用其它激活函数对梯度

2017-08-07 11:29:50 484

原创 transfer learning与finetuning区别

举个例子，假设今天老板给你一个新的数据集，让你做一下图片分类，这个数据集是关于Flowers的。问题是，数据集中flower的类别很少，数据集中的数据也不多，你发现从零训练开始训练CNN的效果很差，很容易过拟合。怎么办呢，于是你想到了使用Transfer Learning，用别人已经训练好的Imagenet的模型来做。做的方法有很多：把Alexnet里卷积层最后一层输出的特征拿出来，然

2017-08-07 09:28:29 1680

原创 1、t_sne详解

1、t_sne博客点击打开链接 2、t_sne发明者主页点击打开链接 3、github源码：点击打开链接 4、论文：点击打开链接

2017-08-04 11:08:10 525

原创 1、为什么caffe训练时训练集loss=0.06，验证集accuracy=0.98但测试集的准确率很低accuracy=0.67

1、https://groups.google.com/forum/#!topic/caffe-users/NzKEWAFPPfI 提出新的测试方法 2、https://github.com/pherrusa7/foodCAT/blob/master/caffeWrapper.py github源码 3、https://www.zhihu.com/question/56017256 知乎上提

2017-08-03 16:22:52 35071 15