linger(心怀梦想，活在当下，知乎ID：linger liu)

看卷积神经网络的时候，发现代码中计算卷积是通过矩阵乘法来计算的。搜了一下发现网上这方面的资料很少。刚开始找中文的，找到两个。http://blog.csdn.net/anan1205/article/details/12313593http://zhongcheng0519.blog.163.com/blog/static/161690688201122141335874/

caffe源码分析--poolinger_layer.cpp对于采样层，cafffe里实现了最大采样和平均采样的算法。最大采样，给定一个扫描窗口，找最大值，平均采样，扫描窗口内所有值的平均值。

ufldl学习笔记与编程作业：Logistic Regression（逻辑回归）ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。在deep learning高质量群里面听一些前辈说，不必深究其他机器学习的算法，可以直接来学dl。于是最近就开始搞这个了，教程加上matlab编程，就是完美啊。新教程的地址是：http://ufldl.stanford.edu/tutorial/ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。在deep

ufldl学习笔记与编程作业：Softmax Regression（softmax回归）ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。在deep learning高质量群里面听一些前辈说，不必深究其他机器学习的算法，可以直接来学dl。于是最近就开始搞这个了，教程加上matlab编程，就是完美啊。新教程的地址是：http://ufldl.stanford.edu/tutorial/

ufldl学习笔记与编程作业：Softmax Regression(vectorization加速)ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。在deep learning高质量群里面听一些前辈说，不必深究其他机器学习的算法，可以直接来学dl。于是最近就开始搞这个了，教程加上matlab编程，就是完美啊。新教程的地址是：http://ufldl.stanford.edu/tutorial/本节是对http://blog.csdn.net/lingerlanlan/

目前caffe不是很完善，输入的图片数据需要在prototxt指定路径。但是我们往往有这么一个需求：训练后得到一个模型文件，我们想拿这个模型文件来对一张图片抽取特征或者预测分类等。如果非得在prototxx指定路径，就很不方便。因此，这样的工具才是我们需要的：给一个可执行文件通过命令行来传递图片路径，然后caffe读入图片数据，进行一次正向传播。因此我做了这么一个工具，用来抽取任意一张图片的特征。

ufldl学习笔记与编程作业：Multi-Layer Neural Network(多层神经网络+识别手写体编程)ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。在deep learning高质量群里面听一些前辈说，不必深究其他机器学习的算法，可以直接来学dl。于是最近就开始搞这个了，教程加上matlab编程，就是完美啊。新

ufldl学习笔记与编程作业：Feature Extraction Using Convolution,Pooling(卷积和池化抽取特征)ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。在deep learning高质量群里面听一些前辈说，不必深究其他机器学习的算法，可以直接来学dl。于是最近就开始搞这个了，教程加上matlab编程，就是完美啊。新教程的地址是：http://ufldl.stanford.edu/tutorial/

数据成员shared_ptrSyncedMemory>data_;//data数据，指向SyncedMemory的智能指针shared_ptrSyncedMemory>diff_;//表示“差”，用于更新data_intnum_;intchannels_;intheight_;intwidth_;intcount_;构造函数Blob():num_

其中用到一个宏定义CUDA_KERNEL_LOOP在common.hpp中有。#defineCUDA_KERNEL_LOOP(i,n) \for(inti = blockIdx.x * blockDim.x + threadIdx.x; \i i +=blockDim.x * gridDim.x)先看看caffe采取的线程格和线程块的维数设计

数据成员：void*cpu_ptr_;数据在cpu的指针void*gpu_ptr_;数据在gpu的指针size_tsize_;数据的大小SyncedHeadhead_;表示数据的状态，有四种状态，分别是未初始化，数据在cpu中，数据在gpu中，数据在cpu和gpu中都有enumSyncedHead { UNINITIALIZED,HEAD_AT_CPU,HEAD_AT_

ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。在deep learning高质量群里面听一些前辈说，不必深究其他机器学习的算法，可以直接来学dl。于是最近就开始搞这个了，教程加上matlab编程，就是完美啊。新教程的地址是：http://ufldl.stanford.edu/tutorial/

caffe是一个清晰，可读性高，快速的深度学习框架。作者是贾扬清,加州大学伯克利的ph.D，先就职于google。caffe的官网是http://caffe.berkeleyvision.org/。

ufldl学习笔记与编程作业：Debugging: Gradient Checking（梯度检测）ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。在deep learning高质量群里面听一些前辈说，不必深究其他机器学习的算法，可以直接来学dl。于是最近就开始搞这个了，教程加上matlab编程，就是完美啊。新教程的地址是：http://ufldl.stanford.edu/tutorial/ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。

ufldl学习笔记与编程作业：Vectorization（向量化/矢量化）ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。在deep learning高质量群里面听一些前辈说，不必深究其他机器学习的算法，可以直接来学dl。于是最近就开始搞这个了，教程加上matlab编程，就是完美啊。新教程的地址是：http://ufldl.stanford.edu/tutorial/ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。在deep lea

本文打算从简单的方式描述神经网络的反向传播，有很多细节是不展开讲得。所以看到不展开讲的内容，知道就好，不必深究。看完本文后，会对神经网络的反向传播有一个感性的认识，然后自己再另外拓展了解细节即可。神经网络是什么？假设有N个输入的节点，M个输出节点。我们假设每一个输出的节点的值，都给这N个输入节点的值有关，而每个输入节点对于输出的节点的影响的权重是各异的。那么这些权重各自应该是多

本文简单介绍一下卷积神经网络，主要从层的概念来描述，每一层都有其他层作为它的输入层，然后有自己的输出作为其他层的输出层。总的来说，主要有这么几个层：输入层，卷积层，采样层，全连接层。1输入层输入：若干个特征图，比如一张图片，可以是3个二维数组，分别为RGB的像素值。正向传播：该层不用处理，直接把输入值当作输出值输出给下一层，下一层一般是卷积层。反向传播：该层作为最原始的“输入层”，

caffe中负责整个网络输入的datalayer是从leveldb里读取数据的，是一个google实现的非常高效的kv数据库。因此我们训练网络必须先把数据转成leveldb的格式。这里我实现的是把一个文件夹的所有图片转成leveldb的格式。

最近研究了一下google的开源项目word2vector，http://code.google.com/p/word2vec/。其实这玩意算是神经网络在文本挖掘的一项成功应用。本文是看了论文《Distributed Representations of Words and Phrases and their Compositionality》的学习笔记。

训练终于有结果了，分类准确率稳定在0.7，目前最高到达0.73。发图庆祝一下，留个坑，到时再详细总结一下。

一个月前，自己模仿caffe实现了一个卷积神经网络的框架。一个月前，自己模仿caffe实现了一个卷积神经网络的框架。相同点1无缝支持CPU和GPU模式，GPU模式使用cuda实现。不同点1我的CNN不依赖与任何第三方的函数库，caffe用到了第三方的数学函数库（cublas和mkl）来做矩阵操作。其实区别就在于

不少读者看了我前面两篇文章总结一下用caffe跑图片数据的研究流程deep learning实践经验总结2--准确率再次提升，到达0.8，再来总结一下之后，想知道我是怎么实现特征可视化的。

最近拿caffe来做图片分类，遇到不少问题，同时也吸取不少教训和获得不少经验。

最近在用caffe玩一些数据集，这些数据集是从淘宝爬下来的图片。主要是想研究一下对女性衣服的分类。

deep learning实践经验总结最近拿caffe来做图片分类，遇到不少问题，同时也吸取不少教训和获得不少经验。

ufldl学习笔记与编程作业：Linear Regression（线性回归）ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。在deep learning高质量群里面听一些前辈说，不必深究其他机器学习的算法，可以直接来学dl。于是最近就开始搞这个了，教程加上matlab编程，就是完美啊。新教程的地址是：http://ufldl.stanford.ed

// Copyright 2013 Yangqing Jia//#include #include #include "caffe/layer.hpp"#include "caffe/vision_layers.hpp"#include "caffe/util/math_functions.hpp"using std::max;namespace caffe {/**

// Copyright 2013 Yangqing Jia#include #include #include #include #include #include "caffe/layer.hpp"#include "caffe/util/io.hpp"#include "caffe/vision_layers.hpp"using std::string;name

Tensorflow入门：数据结构和编程思想引言： 最近tensorflow很火，看到国内都有不少人开始玩起来了，自己最近有些想法想玩玩，于是开始入门搞一下，因为自己只有一个台式电脑，于是就装了个cpu版的tensorflow，安装过程挺顺利，一两句命令搞定，最后遇到过glibc的版本问题，直接升级了Ubuntu版本就好了。 于是，开始入门了。下面是我学习的笔记，水平有限，如有不对，敬请指教。