1、深度学习入门
① https://www.zhihu.com/question/31785984?from=timeline
一、基本变换:层
数学式子:\vec{y}= a(W\cdot\vec{x} + {b}),其中\vec{x}是输入向量,\vec{y}是输出向量,\vec{b}是偏移向量,W是权重矩阵,a()是激活函数。每一层仅仅是把输入\vec x经过如此简单的操作得到\vec y。
数学理解:通过以下5种输入空间(输入向量的集合)进行操作,完成输入空间-》输出空间的变换(矩阵的行空间到列空间)
① 升维/降维
② 放大/缩小
③ 旋转
④ 平移
⑤ “弯曲” 其中,1、2、3是W.x完成,4是+b完成,5由a()实现。
每层神经网络的数学理解:用线性变换跟随着非线性变化,将输入空间投向另一个空间。
W\cdot\vec{x} 的理解就是通过组合形成新物质。a()又符合了我们所处的世界都是非线性的特点。
每层神经网络的物理理解:通过现有的不同物质的组合形成新物质。
2、深度学习的学习技巧
https://mp.weixin.qq.com/s/_rQabfvxQ4Q41K_vJTY8Fw
(1)数据预处理
What:输入神经网络数据的好坏直接关系着网络训练结果,一般需要对数据进行预处理,常用的数据预处理方式有:
① 去均值:每个原始数据减去全部数据的均值,即把输入数据各个维度的数据都中心化到0;
② 归一化:一种方式是使用去均值后的数据除以标准差