王小草深度学习笔记
课程来自:寒小阳
笔记整理者:王小草
时间:2016/08/15
欢迎交流:qq:1057042131
1. 神经网络前言
1.1 背景
在进入神经网络之前,先讲述两个略带血腥的实验。
第一个实验是科学家将耳朵到大脑听觉区的神经给切断了,然后将眼睛到大脑听觉区的神经接起来,之后发现大脑听觉皮质也会慢慢去学习视觉传入的信息,即学会去“看”。
另一个实验也雷同,将触觉神经割断,然后将眼睛与感知皮层连上神经,发现感知皮层也能学会视觉神经传入的信息,也学会了“看”。
1.2 神经网的基本结构
神经网络的基本结构如下,由三部分组成,最左边的是输入层,最右边的是输出层,中间是隐藏层
1.2.1 从逻辑回归到神经元(感知机)
我们回忆一下逻辑回归的原理
首先,将特征输入到一个一元或多元的线性函数z中。
然后将这个线性函数z作为一个输入,输入到函数g(z)中
从g(z)公式可以看到,当z越大的时候,g(z)会越来越向上接近1,当z越小的时候,分母就趋于无限大,g(z)就越来越向下趋近0,当z为0时,g(z)等于0.5。我们将g(z)函数画在坐标轴上,就是如下形状的。
根据图形,我们可以更清晰地看到,当z小于0,则g(z)小于0.5,当z大于0,则g(z)大于0.5。因此它可以作为一个二元的分类器,大于0.5的分为正类,小于0.5的分为负类。
之所以在这里提及逻辑回归,因为逻辑回归就可以当成神经元中的感知器。下图中,最左侧就是输入z函数的变量(或者叫特征或因子),1为常量,x1,x2为两个特征。从这三个变量到z有三条边,分别是权重,也就是逻辑回归z函数里的系数,将变量与对应的系数相乘并线性相加的过程就是线性函数z的求解过程,通过这一步,我们求出了z。从中间的小圆z到右边的小圆a,就是逻辑回归的第二步了,即将z作为输入变量代入g(z)中,求解出g(z)或a。
以上整个过程,就是神经元的感知器的原理。
1.2.2 浅层神经网络与深层神经网
现在我们添加少量的隐藏层,简单的感知器就变成了一个浅层神经网了(SNN