卷积神经网络基本原理

目录

什么是全连接神经网络？

神经元的基本结构

神经元的激活函数

sigmoid函数

Relu函数

全连接神经网络的缺点

卷积神经网络

 卷积神经网络的由来

卷积层

汇聚层

实例

---

什么是全连接神经网络？

     这张图片在视网膜形成图像后被转换成神经冲动，然后经过视觉神经的传导信号到达大脑，经过大脑皮层对信号的处理我们可以得出判断，这是一只猫，当然有些人可能再根据它的颜色和花纹继而判断出这是一只美短。

     再抽象一下刚才的传递路径，信息由视网膜接收，信号传递到视觉神经，最后再传到大脑皮层，当然这其中的每一层都是由很多神经元组成，前一层的神经元连接着下一层的神经元，这就组成了一个简单的神经网络模型，在前面的这一列是输入层神经元，中间的一列是隐藏层，最后的一层是输出层。这幅图中的隐藏层我只画出来了一层，实际上是可以有很多层的，层和层之间是全连接的结构，同一层的神经元之间没有连接。这种神经网络也叫做全连接神经网络。

输入层（Input layer）：众多神经元（Neuron）接受大量非线形输入讯息。输入的讯息称为输入向量。

输出层（Output layer）讯息在神经元链接中传输、分析、权衡，形成输出结果。输出的讯息称为输出向量。

隐藏层（Hidden layer）：简称“隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。如果有多个隐藏层，则意味着多个激活函数

神经元的基本结构

 

·X1、X2表示输入向量

·W1、W2为权重,几个输入则意味着有几个权重，即每个输  入都被赋予一个权重

·b为偏置bias

·g(z)为激活函数

·a为输出值

    举个例子，我们决定晚上去不去食堂吃饭，假如有两个决定因素，首先是食堂有没有你喜欢的饭菜，其次是有没有人陪你一起去，这二个因素可以对应二个输入，分别用x1、x2表示。此外，这二个因素对做决策的影响程度不一样，各自的影响程度用权重w1、w2表示。

X1：代表有没有你喜欢的饭菜，x1=1代表有，X1=0代表没有，假设它的权重是7.

X2：代表是否有人陪你去，x2=1代表有，X2=0代表没有，是否有人陪同的权重 = 3。

这样，咱们的决策模型便建立起来了：g(z) = g( x1*w1 +x2 *w2 + b )，g表示激活函数，这里的b可以理解成为更好达到目标而做调整的偏置项。

神经元的激活函数

常用的非线性激活函数有sigmoid、</