machine learning常见网络笔记

CNN

卷积神经网络Convolutional Neural Network
学了很久的卷积，但是对于卷积的意义缺少一个直观的理解，我觉得可以把卷积的过程看成在寻找特征的过程。
任何一副图像都可以看成二维像素点的矩阵。有矩阵W=1/9*[[1,1,1],[1,1,1],[1,1,1]],矩阵W与图像进行卷积。

例如从一张图片I中寻找曲线，我们可以得到曲线的矩阵A，然后让I与A进行卷积，卷积的结果数值高的地方就是与目标曲线相似的地方，数值低的地方是与目标曲线不类似的地方

因此从这个角度来说训练就是在训练卷积神经网络每个层的滤波器，让他们能够对某些特定的模式做出高的响应，达到网络分类的目的。
一般卷积神经网络第一个卷积层是用来训练比较低级的特征，例如曲线、直线等等。第二层的卷积层的输入就是第一层的输出。越高的层数用来检测越复杂的特征。

那么CNN是如何训练的呢?用back-popagation
卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成。
池化（pooling）就是下采样，一般来说经过池化处理之后的图像长宽各为原图像的一半。

softmax函数 sigmoid函数ReLu函数与tanh函数

softmax

nlp改进版：negative sampling、hierarchical softmax
softmax应用在分类器中就是将多个神经元映射到[0,1]之间的输出，这个输出大小表示概率，根据概率来判断最终的分类。

sigmoid、ReLu tanh函数的意义都是在神经网络中引入非线性的因素，只有线性关系的情况下调参便没有什么用。

sigmoid函数


非线性激活函数 将变量映射到[0,1]

ReLu函数
f(x)=max(0,x)

tanh 双曲正切
tanh(x)=2sigmoid(2x)−1
tanh函数是sigmoid函数的变形 区域是[ -1,1]

上采样与下采样
图像的下采样是将原图像缩小，即将s*s范围的图像缩小为一个像素点
图像的上采样则是将图像放大，一般采用线性插值的方式

**

RNN

**
RNNs的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。这一问题在自然语言处理这一领域尤为明显。语句的上下文之间是有联系的，RNN循环神经网络处理自然语言处理问题非常合适，即一个序列当前的输出与前面的输出也有关。
隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

LSTM

长短时间记忆是比较热门的一类RNN方法
https://www.jianshu.com/p/9dc9f41f0b29
这篇文章写的很好
普通的RNN有一个特点，就是比较远的单元细胞对现在的细胞的状态影响比较小，比较近的影响比较大。在这个间隔不断增大时，RNN 会丧失学习到连接如此远的信息的能力。


一般来说，RNN的隐藏层比较简单，只有一个tanh函数，而LSTM则复杂的多


下面分块来看一下LSTM细胞的各个部分
Ci表示第i个细胞的状态
hi表示第i个输出
xi表示第i个输入

细胞之间有连通，前一个细胞的信息经过门运算来选取哪一部分被留下来，哪一部分被去掉

ft表示对细胞t-1的状态Ct-1的筛选情况

细胞t的状态由it和C~t来决定，表示目前细胞状态的中现在输入所占的部分（更新的信息）

确定新的细胞的状态

目前输出信息
举个例子来说，比如目前输入的词语是代词，则之前的状态中代词的部分将被去掉，而其他部分例如动词形容词等会留下来。对信息的舍去的选择机制是LSTM最大的特点。

FCN

Fully Convolutional Networks forSemantic Segmentation 全卷积
经常用于图像语义分割

RCNN
FAST-RCNN
FASTER-RCNN

MEMORY