【深度学习】笔记第一弹--神经网络

1. 神经网络前言

1.1 背景

在进入神经网络之前，先讲述两个略带血腥的实验。 
第一个实验是科学家将耳朵到大脑听觉区的神经给切断了，然后将眼睛到大脑听觉区的神经接起来，之后发现大脑听觉皮质也会慢慢去学习视觉传入的信息，即学会去“看”。

另一个实验也雷同，将触觉神经割断，然后将眼睛与感知皮层连上神经，发现感知皮层也能学会视觉神经传入的信息，也学会了“看”。

1.2 神经网的基本结构

神经网络的基本结构如下，由三部分组成，最左边的是输入层，最右边的是输出层，中间是隐藏层

1.2.1 从逻辑回归到神经元(感知机）

我们回忆一下逻辑回归的原理 
首先，将特征输入到一个一元或多元的线性函数z中。 

然后将这个线性函数z作为一个输入，输入到函数g(z)中 

从g(z)公式可以看到，当z越大的时候，g(z)会越来越向上接近1，当z越小的时候，分母就趋于无限大，g(z)就越来越向下趋近0，当z为0时，g(z)等于0.5。我们将g(z)函数画在坐标轴上，就是如下形状的。

根据图形，我们可以更清晰地看到，当z小于0，则g(z)小于0.5，当z大于0，则g(z)大于0.5。因此它可以作为一个二元的分类器，大于0.5的分为正类，小于0.5的分为负类。

之所以在这里提及逻辑回归，因为逻辑回归就可以当成神经元中的感知器。下图中，最左侧就是输入z函数的变量（或者叫特征或因子），1为常量，x1,x2为两个特征。从这三个变量到z有三条边，分别是权重，也就是逻辑回归z函数里的系数，将变量与对应的系数相乘并线性相加的过程就是线性函数z的求解过程，通过这一步，我们求出了z。从中间的小圆z到右边的小圆a，就是逻辑回归的第二步了，即将z作为输入变量代入g(z)中，求解出g(z)或a。

以上整个过程，就是神经元的感知器的原理。

1.2.2 浅层神经网络与深层神经网

现在我们添加少量的隐藏层，简单的感知器就变成了一个浅层神经网了（SNN），从上一层到下一层就是一个感知器

如果添加更多的隐藏层，就形成了一个深层神经网了（DNN），包含了多个感知器。