2017年06月_fffupeng

原创 caffe 添加Python层

本文在mnist中添加Python层，作为修改，在本文中不仅介绍如何添加层，还会涉及到修改层的一些思路。首先在train_test_lenet.prototxt中添加MyPythonLayer一层，如下图所示：该层的主要作用就是将输入加上10，并输出，同事输入输出的维度不变。接下来就是具体的代码实现。在caffe/python 下面添加mypythonLayer.py

2017-06-28 12:29:08 6423 4

原创 c++存储区域

2017/06/24 23:14 五大内存分区在C++中，内存分成5个区，他们分别是堆、栈、自由存储区、全局/静态存储区和常量存储区。栈，就是那些由编译器在需要的时候分配，在不需要的时候自动清楚的变量的存储区。里面的变量通常是局部变量、函数参数等。堆，就是那些由new分配的内存块，他们的释放编译器不去管，由我们的应用程序去控制，一般一个new就要对应一个delete。

2017-06-24 23:18:26 332

原创导数，偏导，方向倒数，梯度

知乎链接 https://www.zhihu.com/question/36301367 导数：导数不仅仅表示该点切线的斜率，还反应了函数在该点的变化率。偏导数：偏导数仅仅是表示某点在x方向的导数和再y轴方向的导数。这反应了偏导数的局限性，仅仅是多元函数沿着坐标轴的变化率，但是如上图，在M0点处存在很多方向的偏导数（并不仅仅x和y方向）。这就引出了方向导数。

2017-06-20 23:34:26 13446 1

原创直方图均衡化python代码实现

图像灰度变换中一个非常有用的例子就是直方图均衡化。直方图均衡化是指将一幅图像的灰度直方图变平，使变换后的图像中每个灰度值的分布概率都相同。在对图像做进一步处理之前，直方图均衡化通常是对图像灰度值进行归一化的一个非常好的方法，并且可以增强图像的对比度。在这种情况下，直方图均衡化的变换函数是图像中像素值的累积分布函数（累积直方图）（cumulative distribution function，

2017-06-19 12:27:23 11892

原创 lec6 训练神经网络2

参数的更新：详见 http://blog.csdn.net/fffupeng/article/details/72771325 SGD：（沿着梯度负方向更新参数）在上图中x方向的长度远大于其他方向，损失函数在水平方向上比较浅，在垂直方向上比较深。如上图，很明显下降的速度比较慢。 Momentum update：动量更新不仅考虑了当前的动量-learning_rate

2017-06-18 21:30:57 332

原创 lec5 训练神经网络1

训练网络之前必须知道，训练卷积网络需要一定的数据量。 finetuning 采用预训练的方式，然后用自己的数据训练网络的最后几层。（可以将卷积层作为提取特征的固定网络，我们只需重新训练分类层就可以了，当然如果有一定的数据量可以训练较多的层）如下图所示：准备好数据集，网络模型之后可以开始训练网络。下降策略一般采用SGD（随机梯度下降）训练步骤：激活函数：可以看下

2017-06-18 10:56:08 389

原创 lec4 反向传播和神经网络1

神经网络中如何前向和后向计算：如下图：反向传播时，使用链式法则，从后向前逐步更新权重。下图是有激活函数的情况：

2017-06-18 10:51:02 242

原创 SSD 安装日志

s1: git clone cd caffe git checkout ssd s2: cp Makefile.config.example Makefile.config make -j8 make py make test -j12 make runtest –j12 出现问题: 缺少-lopenblas sudo apt-get install open

2017-06-17 14:27:09 614

原创 tips/tricks in deep neural network

1、数据集的扩增现在数据集扩增成为训练深度网络的必须步骤 1.1 水平翻转，随机剪裁，颜色抖动（color jittering）（HSV空间中，改变s和v分量） 1.2 fancy pca step1: 计算rgb三个分量的协方差（注意转为一维） im = cv.imread('1_1.png')#读入图片数据 b,g,r = c

2017-06-14 18:22:47 402

原创在线难例挖掘论文

这篇论文主要就是在faster rcnn上加上了online hard example mining，论文还是比较容易理解的。首先回顾一下，faster rcnn的mini batch 的生成过程。在faster rcnn中mini batch设定为2张图片，每张图片生成128个roi，然后输入进入roi网络。如下图（这是fast rcnn的图，faster rcnn中rpn和de

2017-06-11 15:19:48 6353 1

原创 3 损失函数和优化

为了描述之前建立的线性分类器的分类效果，我们引入的损失函数，顾名思义，损失函数越大误差也就越大。在下图的任务中，将测试图片猫、车和青蛙输入网络，输出了一系列的数值，如下表。很显然我们希望图片对应的分类数值越高越好，例如猫的图片对应cat，但是数值只有3.2，还不如对应的car的数值，所以该线性分类器会将猫这张图片分类为car。下面引入svm loss函数：其中Sj和Sy

2017-06-07 20:42:37 2164

原创 r-fcn论文

这是一篇基于全卷积网络的目标识别，baseline是用resnet。当然不是使用resnet+faster rcnn那么简单。问题来源： translation invariance 和translation variance 卷积网络最初兴起于分类任务，当然效果是越来越好，而一般的目标识别的网络也是通过分类的网络提取特征（zf，vgg，res等等），再加上一系列的操作（roi，bound

2017-06-07 13:00:19 465

原创 lec2 图像分类的方法

图像分类：作业：（python代码） 1、knn 2、svm softmax 3、2层神经网络图片分类从以往经验来看目标需要在整个图像的中间，尽量占据较大的空间。图像分类面对的挑战： 1、光照 2、物体形变 3、遮挡 4、目标和背景混淆 5、多个种类（外观有些许不同）对于现在的机器学习的方法： 1、收集数据集 2、使用机器学习的方法训练分类器 3、

2017-06-06 23:00:45 454

原创 fcn语义分割论文

全卷积网络：个人认为本文主要是两个重点：第一是fcn，全卷积网络（+上采样）第二是skip net 首先说全卷积网络：通常cnn在卷积层后会接上若干全连接层，但是全连接层和卷积层的连接数量是固定的，这也就导致了输入必须是固定的尺寸。如下图所示：但是在fcn中将fc用卷积取代，再加上采样层，这样能够输入任何大小的图片，同时输出图片相应大小的语义分割。如下图所示：

2017-06-04 11:33:45 1087

原创 overfeat论文待续

从文章题目来看，Integrated recognition,localization and detection using convolutional network,就是将分类、定位、检测通过卷积网络整合在一起。本文作者展示了： 1、在卷积网络中使用多尺度的滑动窗 2、介绍了通过训练深度网络来预测物体的定位框 3、可以使用一个网络同时进行多项任务首先来理一理这分类，定位，

2017-06-02 21:58:46 645

fffupeng的博客