【学习笔记】神经网络

Chapter 2 Artificial Neural Network

Chapter 3 Learning & Perceptron

3.3 Rosenblatt Perceptron

可以理解为相对向量机这种类型的迭代分类器，用途是找到一条线，该线利用异或进行计算，最终满足将两种不同类型的点分到线的两边。

1、给定[x1,y1],[x2,y2],[x3,y3]点，f(x) = hardlims(Wx+b) 

hardlims 如同没有近似值的sigmoid，下于0则等于0，小于0则等于1

2、计算f(x1)y1 f(x2)y2 f(x3)y3，查看其中是否大于0，若全大于则计算完毕

3、若有不满足的，则更新wb，w* = w + 学习率 * y X , b* = b + 学习率 * y

4、反复计算直到全部满足

 5、分类完毕

Chapter 4 Optimization

4.3 SGD、BGD、MBGD

4.4 优化器

Momentum optimization（动量优化器）

β一般取0.9，使用该公式进行梯度下降可以保留动量，降低纵向摆动，使梯度下降方向始终指向总体下降方向

 RMSProp (Root mean square prop) optimization( 均方根下降优化器） 

RMSprop - 简书

Ada

St使得梯度自适应更改，根据梯度下降的量，每次下降梯度越来越低，动态调整梯度，避免鞍点RMSprop - 简书

缺点：但Ada无法避免在中期遇到鞍点的情况，当前期梯度下降量大，中期遇到鞍点，梯度已经积累足够大，中期会停留在鞍点

RMSprop

 使用β可以使得久远梯度影响力减小，避免中期鞍点的情况

Adam 将Momentum和RMSprop结合（不要求）

Chapter 5 Convolutional Neural Network

5.3 局部连接与权值共享

       卷积层最主要的两个特征就是局部连接和权值共享，有些地方又叫做稀疏连接和参数共享，总之都是一个意思。所谓局部连接，就是卷积层的节点仅仅和其前一层的部分节点相连接，只用来学习局部特征。局部感知结构的构思理念来源于动物视觉的皮层结构，其指的是动物视觉的神经元在感知外界物体的过程中起作用的只有一部分神经元。在计算机视觉中，图像中的某一块区域中，像素之间的相关性与像素之间的距离同样相关，距离较近的像素间相关性强，距离较远则相关性就比较弱，由此可见局部相关性理论也适用于计算机视觉的图像处理领域。因此，局部感知采用部分神经元接受图像信息，再通过综合全部的图像信息达到增强图像信息的目的。从下图中我们可以看到，第n+1层的每个节点只与第n层的3个节点相连接，而非与前一层全部5个神经元节点相连，这样原本需要5*3=15个权值参数，现在只需要3*3=9个权值参数，减少了40%的参数量，同样，第n+2层与第n+1层之间也用同样的连接方式。这种局部连接的方式大幅减少了参数数量，加快了学习速率，同时也在一定程度上减少了过拟合的可能。
————————————————
版权声明：本文为CSDN博主「dulingwen」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/dulingwen/article/details/83112097

5.4 卷积神经网络结构

5.4.1 基本神经网络结构

5.4.2 现在常用的卷积神经网络结构 

AlexNet [Krizhevsky et al. 2012]

lexNet [Krizhevsky et al. 2012]

VGGNet [Simonyan and Zisserman, 2014]

 ResNet [He et al., 2015]