2018年10月_贝猫说python

12月 11月 10月 09月 08月 07月 05月

转载理解激活函数增加非线性的含义

转自微信公众号：机器学习算法与自然语言处理查阅资料和学习，大家对神经网络中激活函数的作用主要集中下面这个观点：激活函数作用激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。下面我分别从这个方面通过例子给出自己的理解~ @lee philip@颜沁睿俩位的回答已经非常好了，我举的例子也...

2018-10-31 17:25:47 6113 3

转载 cafee训练过程的，NAN现象查错方法，参考

from:https://www.zhihu.com/question/49346370 Harick  梯度爆炸了吧。我的解决办法一般以下几条：1、数据归一化（减均值，除方差，或者加入normalization，例如BN、L2 norm等）；2、更换参数初始化方法（对于CNN，一般用xavier或者msra的初始化方法）；3、减小学...

2018-10-26 15:18:42 178

转载 MTCNN 训练不同实现代码的总结和建议

原 MTCNN训练 2018年09月02日 00:27:47 迷若烟雨阅读数：178 MTCNN是...

2018-10-23 11:07:24 1349

转载 DL开源框架Caffe | 模型微调（finetune）的场景、问题、技巧以及解决方案

转自：http://blog.csdn.net/u010402786/article/details/70141261前言什么是模型的微调？　　 　　使用别人训练好的网络模型进行训练，前提是必须和别人用同一个网络，因为参数是根据网络而来的。当然最后一层是可以修改的，因为我们的数据可能并没有1000类，而只有几类。把最后一层的输出类别和层的名称改一下就可以了。用别人的参数...

2018-10-18 15:19:39 175

转载 caffe微调网络时的注意事项（持续更新中）

转载请注明出处，楼燚(yì)航的blog，http://www.cnblogs.com/louyihang-loves-baiyan/目前呢，caffe，theano,torch是当下比较流行的Deep Learning的深度学习框架，楼主最近也在做一些与此相关的事情。在这里，我主要介绍一下如何在Caffe上微调网络，适应我们自己特定...

2018-10-18 15:06:40 110

转载 caffe微调网络时的注意事项（持续更新中）

原 caffe微调网络时的注意事项（持续更新中） 2016年05月04日 11:04:20 Sunshine_in_Moon 阅读数：8981更多 <div class="tags-box space"> &lt...

2018-10-18 15:03:55 260

转载使用caffe训练时Loss变为nan的原因总结

目录梯度爆炸原因：梯度变得非常大，使得学习过程难以继续不当的损失函数不当的输入池化层中步长比核的尺寸大梯度爆炸原因：梯度变得非常大，使得学习过程难以继续现象：观察log，注意每一轮迭代后的loss。loss随着每轮迭代越来越大，最终超过了浮点型表示的范围，就变成了NaN。措施： 1. 减小solver.prototxt中的base_lr，至少减小一个数量级。如果有多个loss la...

2018-10-17 19:53:25 131

转载 300W数据集测试MTCNN的landmark效果代码

原 300W数据集测试MTCNN的landmark效果代码 2017年07月31日 20:26:20 XZZPPP 阅读数：1978更多 <div class="tags-box space"> <span...

2018-10-17 19:52:33 596

mtcnn caffe 下的代码，是总共有三组数据，分别对应三种任务的单独训练，数据不交叉，训练随机进行3中任务号，中的一个，进行训练，每个任务都会被训练到。分类任务的batch，是pos 和neg 数据，框的任务batch是，part pos 数据，关键点坐标，用的是landmark，制作的数据方法2，训练，把训练样本直接按照3:1:1:2的方制作成一个数据，一个batchsize 包含4...

2018-10-17 10:15:58 686