u012767526的专栏

简单介绍机器学习的定义、分类。

Blobs，Layers与NetsBlobsLayers与NetsBlobsLayersNets后记Caffe主要就是有Blobs，Layers与Nets三部分组成，当然少不了Caffe内部的自动化机制，但是对于使用者来说，与我们密切相关的就是本文要介绍的这三个数据结构。 BlobsCaffe里面的数据存储的结构就是blob，它把用作前向传播的数据以及后向传播的梯度都保存了起来。再数学层面

Weights Update 与 DropoutWeights Update 与 Dropout参数更新Weights Update学习率是怎么来的随机梯度下降-Stochastic Gradient DescentBatch与SGD的合体Mini-Batch Gradient Descent再给力点Momentum来了考虑得再多一些-Nesterov Momentum Update平

SolverSolverSolver过程Solver方法选择Solver初始化Snapshotting与ResumingCaffe中的Solver是一个框架，在这个框架里，我们并没有控制权，我们能做的有填充solver需要的代码。 并且对于没有接触过Caffe的读者，强烈建议先阅读小编的上一篇基础内容，然后再看下面的内容会比较好理解。Solver过程Solver的过程大致如下：初始化so

利用caffe.proto自定义自己的网络利用caffeproto自定义自己的网络先不急让我们来看一下caffeproto里面都是些什么让我们把caffeproto用起后记caffe.proto存放在src/caffe/proto/目录下，建议读者能够打开它，跟着这篇教程，学会如何把它用起来（很多人都说要看，反正才一千三百多行是吧…小编我看了两百行就想睡觉了，关键是看了还容易忘，所以小编的建

Week Report 1—AlexNetWeek Report 1AlexNetAlexNet的网络结构卷积层ReLU这个不是层不过也放在这里讨论吧池化层全连接层Dropout层数据预处理均值归零crop采样Fancy PCA采样这一周，我们主要关注深度学习环境的搭配以及两篇重要的论文，分别是“Imagenet Classification with Deep Convolut

用C++自定义 层以及可视化结果用C自定义 层以及可视化结果用C自定义层三处地方重新编译并测试可视化结果可视化loss可视化blobs修改caffecpp添加可视化层后记上一周，我们学校开始了实训，我参与的项目是深度学习相关的，于是第一周我们专注与学习Caffe的使用，包括对Caffe的源码的理解。接着，我们被要求定义一个自己的数据输入层，以完成特定的任务。用C++自定义层对于刚开

RCNN论文解读RCNN论文解读模型的结构Region ProposalCNNsSVMs分类器可视化手段这一周，我们主要的任务是继续完善DISC的coarse net以及实现DISC的fine net，另外，我们还需要看一篇堪称经典到不能再经典的论文，那就是Ross et.的Rich feature hierarchies for accurate object detection and

Ubuntu14.04下的Caffe7.5的搭建 参考来源：https://github.com/tiangolo/caffe/blob/ubuntu-tutorial-b/docs/install_apt2.md本教程是在Ubuntu14.04下的（因为CUDA官方目前在Ubuntu64bit下支持的只有14.04和15.04两个版本，小编曾经试过在16.x的版本安装，结果的惨烈的）安装Gi

ConvNets Typical Architecture与VGGNetConvNets Typical Architecture-卷积神经网络经典结构写到这里，小编已经大体覆盖了构建一个大型卷积神经网络所需要的知识点。下面是小编在上课是总结的卷积神经网络的结构。 读者是不是觉得上面的图的那些英文都似曾相识，是的，小编在之前的学习笔记中都有介绍，为了方便读者阅读，下面小编给出相应的链接 Con

Data Preprocessing, Weights Initialization与Batch NormalizationData Preprocessing Weights Initialization与Batch Normalization数据预处理Data Preprocessing权重初始化Weights Initialization让权重初始化为00方差1e-2标准差0方差1标

模型表示在线性回归问题中，我们将只有一个变量的称为“一元线性回归”问题一元线性回归问题通常用于解决从单一的输入到单一的输出的问题假说函数（Hypothesis Function）假说函数通式：h_theta(x) = theta_0 + theta_1*x这个h函数就是将输入映射到输出的函数例如x (input)y (output)

多元特征线性问题中带有多个变量的问题称为“多元线性回归”问题。

接下来我们将从回归问题切换至分类问题。分类问题的名字logistic regression是由于历史原因，但事实上讨论的并不是用于regression问题，而是classification问题。分类在这时，我们的输出值y再也不是连续量，而是离散值，不是0就是1.y=0代表反向类别，y=1代表正向类别，当然我们也可以根据自身需要给y自己的类别定义。现在我们只讨论只有两个类别的

过渡拟合（overfitting）问题：正则化用来解决过渡拟合的问题。高偏差或者欠拟合问题是指假说函数值与真实值的误差趋势较大，通常是由于这个假说函数太简单或者使用了较少的特征作为输入。另一个极端是过渡拟合或高分歧是由于假说函数拟合了大量的输入值但是并不具有很好的兼容性，不能很好的用以预测新的数据，通常是由于假说函数过于复杂而产生了大量不必要的弯曲。无论是在线性回归还是逻辑回归都会

Gradient Descent与Backward Propagation梯度下降-Gradient Descent求梯度的方法根据梯度的定义:Numerical Method利用求导的常用公式根据梯度的定义求梯度f′（x）=limΔx→0f(x+Δx)−f(x)Δxf'（x）=\lim_{\Delta x\to 0}\dfrac{f(x+\Delta x)-f(x)}{\Delta x}

Fully Connected Neural Network与Activation Function神经网络–Fully Connect Neural Network一个最简单的神经网络 hw,b=f(x1w1+x2w2+x3w3+b)=f(XW+b)h_{w,b}=f(x_1w_1+x_2w_2+x_3w_3+b)=f(XW+b) 向量化的python代码def f(z): retur

Softmax Loss 和 Multiclass SVM LossSoftmax Loss给出 （xi,yi）（x_i, y_i） ，其中 xix_i 是图像，yiy_i 是图像的类别（整数），s=f（xi,W）s = f（x_i,W），其中ss 是网络的输出，则定义误差如下： P(Y=k|X=xi)=esk∑jesjLi=−logP(Y=yi|X=xi)P(Y = k|X = x_i) =

Convolution与PoolingConvolution与Pooling卷积-Convolution如何卷积首先给出要卷积的数据设置卷积的参数根据数据使用对应的过滤器开始卷积卷积参数计算公式非向量化的卷积层代码池化-Pooling后记卷积-Convolution总于写到卷积层这一部分了，呼。为了给大家一个比较容易理解的解释，我这一部分会以例子的形式来讲解如何做卷积。 相信如