![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
caffe、深度学习
文章平均质量分 59
maria5201314
这个作者很懒,什么都没留下…
展开
-
(EM算法)The EM Algorithm
EM是我一直想深入学习的算法之一,第一次听说是在NLP课中的HMM那一节,为了解决HMM的参数估计问题,使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f是定义域为实数的函数,如果对于所有的实数x,,那么f是凸函数。当x是向量时,如果转载 2016-12-12 16:30:10 · 618 阅读 · 0 评论 -
colour_recognition使用总结
1、激活函数的作用:使特征值变为y=f(x)形式2、num_output最后一个是表示分类的种类原创 2017-05-10 19:17:45 · 356 阅读 · 0 评论 -
Caffe 学习:Eltwise层
Eltwise层的操作有三个:product(点乘), sum(相加减) 和 max(取大值),其中sum是默认操作。 假设输入(bottom)为A和B,如果要实现element_wise的A+B,即A和B的对应元素相加,prototxt文件如下:layer { name: "eltwise_layer" type: "Eltwise" bottom: "A"转载 2017-05-13 11:05:58 · 774 阅读 · 0 评论 -
caffe︱深度学习参数调优杂记+caffe训练时的问题+dropout/batch Normalization
一、深度学习中常用的调节参数1、学习率步长的选择:你走的距离长短,越短当然不会错过,但是耗时间。步长的选择比较麻烦。步长越小,越容易得到局部最优化(到了比较大的山谷,就出不去了),而大了会全局最优一般来说,前1000步,很大,0.1;到了后面,迭代次数增高,下降0.01,再多,然后再小一些。 2、权重梯度消失的情况,就是当数值接近于正向∞,求导之后就更小的,转载 2017-05-11 15:11:31 · 1979 阅读 · 0 评论 -
Caffe学习系列(11):图像数据转换成db(leveldb/lmdb)文件
在深度学习的实际应用中,我们经常用到的原始数据是图片文件,如jpg,jpeg,png,tif等格式的,而且有可能图片的大小还不一致。而在caffe中经常使用的数据类型是lmdb或leveldb,因此就产生了这样的一个问题:如何从原始图片文件转换成caffe中能够运行的db(leveldb/lmdb)文件?在caffe中,作者为我们提供了这样一个文件:convert_imageset.cpp,存转载 2017-03-03 16:42:14 · 556 阅读 · 0 评论 -
dropout的理解
在训练的时候,我们只需要按一定的概率(retaining probability)p 来对weight layer 的参数进行随机采样,将这个子网络作为此次更新的目标网络。可以想象,如果整个网络有n个参数,那么我们可用的子网络个数为 2^n 。 并且,当n很大时,每次迭代更新 使用的子网络基本上不会重复,从而避免了某一个网络被过分的拟合到训练集上2^n:参数节点可以分为1或0;所有n个不同的节原创 2017-02-17 10:47:03 · 328 阅读 · 0 评论 -
图像分类中的max pooling和average pooling是对特征的什么来操作的,结果是什么?
接触到pooling主要是在用于图像处理的卷积神经网络中,但随着深层神经网络的发展,pooling相关技术在其他领域,其他结构的神经网络中也越来越受关注。<img src="https://pic4.zhimg.com/58b4644ffe54e733fb133466a40a8a2f_b.jpg" data-rawwidth="458" data-rawhei转载 2017-02-07 10:22:48 · 3369 阅读 · 0 评论 -
RCNN、FastRCnn总结
RCNN的缺点:重复计算Fast-RCNN:RCNN的加速版本,在我看来,这不仅仅是一个加速版本,其优点还包括:(1) 首先,它提供了在caffe的框架下,如何定义自己的层/参数/结构的范例,这个范例的一个重要的应用是python layer的应用(2) training and testing end-to-end为了达到这一点其定义了ROIPooling层,因为有了这个,使转载 2016-11-23 14:23:22 · 867 阅读 · 0 评论 -
py-faster-rcnn(running the demo): ubuntu14.04+caffe+cuda7.5+cudnn5.1.3+python2.7环境搭建记录
第一次写博客,以此纪念这几天安装caffe,跑faster-rcnn的血泪史.在此特别感谢网络各路大神,来自全球各地,让我能从中汲取营养,吸取经验,总结规律.faster-rcnn分为matlab版本和python版本,首先记录弄python版本的环境搭建过程.matlab版本见另一篇:faster-rcnn(testing): ubuntu14.04+caffe+cuda7.5+cudn转载 2017-08-22 11:34:45 · 387 阅读 · 0 评论