人工神经网络本质理解

一、基本变换：层

1、每一层的数学表达：
$\vec{y} = f (\vec{W} \cdot \vec{x} + b)$，其中$\vec{x}$是输入向量，$\vec{y}$是输出向量，$\vec{b}$是偏移向量，$\vec{W}$是权重矩阵，$f()$是激活函数。每一层仅仅是把输入$\vec{x}$经过如此简单的操作得到$\vec{y}$。

2、数学理解一：用线性变换跟随着非线性变化，将输入空间投向另一个空间。与支持向量机的原理相同。理解非线性转化为线性

• 升维/降维
• 放大/缩小
• 旋转
• 平移
• 弯曲

3、数学理解二：神经网络通过不断调整各个参数，最终拟合线性和非线性的函数。

二、理解

1、神经网络学习如何利用矩阵的线性变换加激活函数的非线性变换，将原始输入空间投向线性可分、稀疏的空间去分类、回归。

注：非线性变换的基本理论：

一个模式分类问题如果映射到一个高维空间将会比映射到一个低维空间更可能实现线性可分；

隐空间的维数越高，逼近就越精确。

2、增加每一层神经元的数量：增加维度，即增加线性转换能力。

3、增加神经网络层数：增加激活函数的作用次数，即增加非线性转换次数。

相关资料：
2014-03-NN-Manifolds-Topology
TensorFlow Playground