HAHA的专栏

caffe cpu only 安装和入门学习caffe安装：              caffe的安装大部分都是在GPU模式下，但是由于目前没有GPU硬件，我们先部署CPU模式。仅仅需要把/examples/mnist/lenet_solver.prototxt模式下的文件solver_mode改成对应的CPU就可以啦。

caffe:LSTM源码分析

Caffe LSTM使用name: "BasicLstm"layer { name: "data" type: "HDF5Data" top: "data" //输入数据 top: "cont" //数据切分（不是1就是0) top: "label"//对应的标签 include { phase: TRAIN } hdf5_data_param {

Show and Tell: Lessons learned from the 2015 MSCOCO                                         Image Captioning Challenge代码         Image caption任务是给定一幅图像，用一幅图像来描述图像包含的信息。其中包含两方面的内容，图像特征提取和语句序列描述，其

Visual Saliency Prediction with Generative Adversarial Networks

使用LSTM代替CNN中的全连接层import tensorflow as tfimport pandas as pdimport numpy as npfrom sklearn.metrics import confusion_matrixfrom tensorflow.python.ops import rnn,rnn_cellimport timefrom d

使用RNN模拟CNN中每个卷积层的关系import tensorflow as tffrom tensorflow.python.ops import rnn,rnn_cellimport pandas as pdimport numpy as npfrom sklearn.metrics import confusion_matriximport timefrom dat

tensorflow使用不同的学习率var_list1 = [variables from first 5 layers]var_list2 = [the rest of variables]train_op1 = GradientDescentOptimizer(0.00001).minimize(loss, var_list=var_list1)train_op2 =

Tensorflow 使用正则化Timport tensorflow.contrib.layers as layersdef easier_network(x, reg): """ A network based on tf.contrib.learn, with input `x`. """ with tf.variable_scope('EasyNet'):

使用策略网络玩游戏# hyperparametersimage_size = 80D = image_size * image_sizeH = 200batch_size = 10learning_rate = 1e-4gamma = 0.99decay_rate = 0.99render = False # display the game envi

如果激活函数使用sigmoid和tanh，怎最好使用xavirtf.contrib.layers.xavier_initializer_conv2d如果使用relu，则最好使用he initialtf.contrib.layers.variance_scaling_initializer

Caffe源码分析：solver，Net，layer的依赖关系    在caffe的执行过程过，核心的调用时Layer的forward和backward函数，今天在这里详细的分析一下caffe中，solver到底是如何执行Layer的forward函数的。首先在caffe中最先创建的是一个solver，我们先看一下solver的创建。我们从每次执行的训练函数作为入口来看看，具体如下图所

Deep Deterministic Policy Gradient 有不对之处，还请告知

Actor Critic算法源码分析    Actor-Critic算法主要是为了解决Policy Gradient算法中仅能在一个回合完成之后才能更新参数。简单的说是在玩游戏结束了之后，才能对参数进行更新。Policy Gradient算法从一个游戏的整体回合来看，加大好动作的权重，减小不好动作的权重。下面贴出两种算法对应的代码参考；Policy Gradientimpor

Joint Sequence Learning and Cross-Modality                                                           Convolution for 3D Biomedical Segmentation笔记    传统的图像都是二维的自然图像，使用CNN做一个end-to-end的架构，做一个以图生图的

An End-to-End Approach to Natural Language Object Retrieval                        via Context-Aware Deep Reinforcement Learning这篇文章的核心就是使用使用强化学习的观点，在图像西红找出最合适的物体边框。强化学习的核心是在不同的状态下执行不同

Policy Gradients is generally believed to be able to apply to a wider range of problems. For instance, on occasions when the Q function (i.e. reward function) is too complex to be learned, DQN will fa...

这篇文章的核心使用Variational Autoencoder配合高斯分布将图像转换到另一个空间下。使用编码器encoder的输出结果作为状态和目标。这种编码方式优于欧式空间的度量方法，称之为latent space。使用Variational Autoencoder的好处如下：Provides a space where distances are more meaningful, and...

神经网络入门:http://neuralnetworksanddeeplearning.com/chap1.html Caffe快速入门http://shengshuyang.github.io/A-step-by-step-guide-to-Caffe.html CNN的反向传播http://ufldl.stanford.edu/tutorial/supervised

caffe源码学习:softmaxWithLoss    在caffe中softmaxwithLoss是由两部分组成，softmax+Loss组成，其实主要就是为了caffe框架的可扩展性。  表达式（1）是softmax计算表达式，（2）是sfotmaxLoss的计算损失表达。在caffe中是单独的计算每层的输入和输出，然后再进行向后传递data结果和向前传递diff的结果。

空间金字塔池化     空间金字塔池化层简介：                  在对图片进行卷积操作的时候，卷积核的大小是不会发生变化的额，反向调节的权重仅仅是数值会发生变化。但是，但是，但是，输入的图片的大小你是否可以控制呢？哈哈，我们的输入图片大小是会发生变化的，这里图片大小的变化并不会在卷积操作和polling操作产生影响，但是会对全连接层的链接产生影响。这篇文章的核心就是解决如何

torch 多层感知器MLP学习           大部分深度学习框架的tutorial都是从多层感知器开始参考的，所以今天学习了一下torch7的MLP。       第一部分：参数的设定。torch的参数设定并不同于caffe，caffe使用google的protobuf来当作参数的传递的，而这里用的是cmd:opt( "--参数",“参数的可选数值","参数的描述"

torch学习笔记（二）        在上一个章节，描述了基础的MLP的参数设定，数据集加载，预处理，以及模型的初始化，感觉torch的模型相对caffe来说，的确很麻烦，哈哈，但那时谁让他安装简单并且还有很多的源码学习呢？哈哈，都是个人见解，caffe的源码学习模型也有很多很多的。       这个章节我们讨论一下对模型的运算。在介绍下面的代码之前。我们首先来看看介个基础的

Fully Convolutional Networks

Multi-view Face Detection Using Deep Convolutional Neural Networks       这篇paper主要就是探讨了在多视角下的人脸检测，简称为DDFD，Deep Dense Face Dector。deep应该是说网络架构比较深，Dense应该是表达把fc层改称为fc-conv层。作者把fc层改称为fc-conv层的主要原因是

caffe入门学习：从我们的数据转化成为caffe可以使用的数据格式      大部分情况下我们都会从网络上下载部分图片，来进行训练网络，但是caffe使用的数据格式却和我们下载得到的却有所不同，需要把我们使用的数据格式来进行转化。caffe提供了caffe-master/build/tools/convert_imageset这个命令来对数据进行转化。     首先看看这个命令的

caffe入门学习:caffe.Classifier的使用    在学习pycaffe的时候,官方一直用到的案例就是net=caffe.net(.../deploy.protxt,..../xxx.caffemodel,caffe.TEST),之后会涉及一段和数据预处理的代码，但是这篇段code对于任何的图片分类预测都是相同的。每次都要写，并且每次都相同，好麻烦，那就来看看这个caff

深度学习入门:Fully Convolutional Networks for Semantic Segmentation       经典的AlexNet的网络架构模型是conv+pooling+fc+softmax层,该网络架构主要用于的图像的分类,达到了当年的state-of-the-art的结果。但是这篇paper主要是做语意分割,在最后那层直接把fc全连接层都改成了fc-co

Rich feature hierarchies for accurate object                                 detection and semantic segmentation、        rcnn主要作用就是用于物体检测，就是首先通过selective search 选择2000个候选区域，这些区域中有我们需要的所对应的物体的b

caffe学习入门：pycaffe的使用      caffe的官方完美的支持python语言的兼容，提供了pycaffe的接口。用起来很方便，首先来看一下最常用到的：caffe的一个程序跑完之后会在snapshot所指定的目录下产生一个后缀名为caffemodel的文件，这里存放的就是我们在训练网络的时候得到的每层的参数信息，具体访问由net.params['layerName'][

faster r-Cnn学习笔记(一)     最近在学习多视角人脸检测的时候，该片paper一直用自己的实验结果和r-cnn去进行比较，显示自己算法的优越性，所以就返回去细细的读了r-cnn的文章，感觉科研界的大牛果然厉害，从r-cnn到fast-rcnn,再到faster-rcnn,都有自己的特点。      rcnn就是先用selective search选择2000个pro

Faster R-CNN: Towards Real-Time Object       Detection with Region Proposal Networks

深度学习入门;图像的heatMap           图像的heatMap是什么，一副图片的heatmap可以帮助我们在上面检测到想要的object，如下左图所示：                    可以直接的看到，人脸的的区域有红色区域，哈哈，这个时候呢用sliding window在图片上进行检测，对于每一个窗口里面的object进行识别，就是检测这个wind

深度学习入门笔记:Good Practice in CNN Feature Transfer    这篇paper主要谈到了三个方面：    1）CNN对于输入图像的大小很敏感，因为不同大小的图像在整个下采样的过程中会有不同程度的精度损失。    2) CNN最经常使用的是VGG16，这里就会涉及到对于不同的应用应该使用不同层次的特征使用。主要是因为浅层的更加倾向于抽取

Cross-dimensional Weighting for Aggregated Deep Convolutional Features 在前面我们谈到了SPOC，主要说的是如何把圈基层的feature maps变成vector，使用的sum pooling技术，达到了不错的效果，但是回头想想还是有问题的，feature maps做为特征虽然到了很好的分类效果，但是有一个问题是，再

Fast Image Search with Deep Convolutional Neural       Networks and Efficient Hashing Codes

Supervised Hashing                    for Image Retrieval via Image Representation Learning      这篇论文主要是哈希方法引入CNN的首篇文章。核心思想是把一个image encode成为一个二进制表示的vector。这样做的好处是可以大幅度的减少存储feature的磁盘开销。该片pape

传统的强化学习算法例如Q-learning算法学习的是state-action值函数，而这篇文章的核心是学习state-action的概率分布。具体各简单的例子：例如我们在上班是需要经过6站地铁，每站地铁平均需要5分钟，则上上班需要30分钟。如果每个星期（5天），地铁都会出毛病，则就需要耽误耽搁一个小时。正常情况下上班的时间期望，也就是均值是30分钟，在火车出现故障的情况下，则每天的上班时间期...