一、神经网络是由一层一层构建的,那么每层究竟在做什么?
神经网络的函数
- 1
- 1
其中Y是输出量,X是输入量,a()是一个激活函数,W是权重矩阵,b是偏置向量。每一层都是通过该公式简单的得到输出Y。数学理解:通过如下5种对输入空间(输入向量的集合)的操作,完成 输入空间—>输出空间的变换(矩阵的行空间到列空间)。
-
-
注:用“空间”二字是指被分类的并不是单个事物,而是一类事物。空间是指这类事物所有个体的集合。
- 1. 升维/降维
- 2. 放大/缩小
- 3. 旋转
- 4. 平移
-
5. “弯曲”
这5种操作中,1,2,3的操作由 完成,4的操作是由 完成,5的操作则是由 来实现。
每层的数学理解:用线性变换跟随着非线性变化,将输入空间投向另一个空间。
-
物理理解:对 的理解就是通过组合形成新物质。 又符合了我们所处的世界都是非线性的特点。
-
假想情景: 是二维向量,维度是碳原子和氧原子的数量 ,数值且定为 。若确定 是三维向量,就会形成如下网络的形状 (神经网络的每个节点表示一个维度)。通过改变权重的值,可以获得若干个不同物质。右侧的节点数决定了想要获得多少种不同的新物质(矩阵的行数)。
-
若权重 的数值如(1),那么网络的输出 就会是三个新物质,[二氧化碳,臭氧,一氧化碳]。
-
若减少右侧的一个节点,并改变权重 至(2),那输出 就会是两个新物质, 。
-
若再加一层,就是再次通过组合 这三种基础物质,形成若干个更高层的物质。
- 若希望通过层网络能够从[C, O]空间转变到 空间的话,那么网络的学习过程就是将 的数值变成尽可能接近(1)的过程 。
- 重要的是这种组合思想,组合成的东西在神经网络中并不需要有物理意义,可以是抽象概念。
-
-
每层神经网络的物理理解:通过现有的不同物质的组合形成新物质。
问题3 为啥感知器为什么处理不了非线性问题
回到这个问题很简单
对于感知器Y=a*(W*X+b)
- 1. 升维/降维
- 2. 放大/缩小
- 3. 旋转
- 4. 平移
-
5. “弯曲”