当前搜索:

caffe层解读系列——slice和concat实现MultiTask

最近一段时间MultiTask网络比较流行,比如做人脸检测的时候,一个网络完成(人脸和非人脸)二分类任务的同时也要进行boudingbox回归或者人脸关键点回归。以人脸检测MTCNN为例,一个网络包含三个任务。训练的时候,一个batch中的图片,一部分用于二分类、一部分用于boundingbox ...
阅读(11015) 评论(6)

caffe层解读系列——Data以及ImageData层用法

直接举一个data层的使用例子:layer { name: "cifar" type: "Data" top: "data" top: "label" include { phase: TR...
阅读(5801) 评论(13)

caffe层解读系列——hinge_loss

—————————— Hinge Loss 定义 ——————————Hinge Loss 主要针对要求”maximum-margin”的分类问题,因此尤其适用于SVM分类。Hinge Loss的定义如下:\(l(y) = max(0,1-t\cdot y)\)其中, \(t=\pm1\) , 需...
阅读(3429) 评论(0)

caffe层解读系列——BatchNorm

之前也写过一篇介绍 Batch Normalization 的文章,原理还不是很清楚的童鞋可以移步看一下。后来看到caffe中的实现,发现还是有很大不同之处,所以这里介绍一些caffe中的BN。 —————————— 可选参数 —————————— 可选参数定义在 src\caffe\...
阅读(14618) 评论(4)

caffe HDF5Data 层使用及数据生成

有些时候,我们的输入不是标准的图像,而是其它一些格式,比如:频谱图、特征向量等等,这种情况下LMDB、Leveldb以及ImageData layer等就不好使了,这时候我们就需要一个新的输入接口——HDF5Data. (1) 在Matlab中生成HDF5文件这里直接以例子的形式说明如何生成:问题...
阅读(7729) 评论(14)

MATLAB绘制caffe训练日志曲线

公司机器上,我是非管理员账户,python画图缺少一些库,但是又没有权限安装,所以考虑matlab。 使用MATLAB画caffe的训练日志,其实就是找规律; 代码如下:
阅读(2624) 评论(3)

caffe层解读系列-softmax_loss

Loss Function 可选参数 使用方法 扩展使用Loss Functionsoftmax_loss的计算包含2步:(1)计算softmax归一化概率(2) 计算损失这里以batchsize=1的2分类为例: 设最后一层的输出为[1.2 0.8],减去最大值后为[0 -0.4], 然后计...
阅读(23617) 评论(14)

深度学习——MSRA初始化

本次简单介绍一下MSRA初始化方法,方法同样来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.Motivation MSRA初始化 推导证...
阅读(12034) 评论(2)

深度学习——PReLU激活

本次介绍PReLU激活函数以及MSRA初始化方法,方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.PReLU激活PReLU(Para...
阅读(16737) 评论(0)

深度学习——Xavier初始化方法

“Xavier”初始化方法是一种很有效的神经网络初始化方法,方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》,可惜直到近两年,这个方法才逐渐得到更多人的应用和认可。为...
阅读(38303) 评论(11)

caffe添加新层教程

时间节点2016.04,即caffe重大更新后(每一种层都对应一个同名cpp和hpp文件)。描述一下本次要实现层的功能:正向直接copy传播,反向时将梯度放缩指定倍。这个层对一些特定的网络结构有很重要的辅助作用,比如有时我们的网络存在分支,但我们不希望某一分支影响之前层的更新,那么我们就将梯度放缩...
阅读(24959) 评论(20)
    个人资料
    持之以恒
    等级:
    访问量: 78万+
    积分: 7587
    排名: 3585