深度学习的入门资料和学习技巧

1、深度学习入门

①　https://www.zhihu.com/question/31785984?from=timeline

②　https://www.slideshare.net/tw_dsconf/ss-62245351?qid=108adce3-2c3d-4758-a830-95d0a57e46bc&v=&b=&from_search=3

一、基本变换：层

数学式子：\vec{y}= a(W\cdot\vec{x} + {b})，其中\vec{x}是输入向量，\vec{y}是输出向量，\vec{b}是偏移向量，W是权重矩阵，a()是激活函数。每一层仅仅是把输入\vec x经过如此简单的操作得到\vec y。

数学理解：通过以下5种输入空间（输入向量的集合）进行操作，完成输入空间-》输出空间的变换（矩阵的行空间到列空间）

①　升维/降维

②　放大/缩小

③　旋转

④　平移

⑤　“弯曲”  其中，1、2、3是W.x完成，4是+b完成，5由a()实现。

每层神经网络的数学理解：用线性变换跟随着非线性变化，将输入空间投向另一个空间。

W\cdot\vec{x} 的理解就是通过组合形成新物质。a()又符合了我们所处的世界都是非线性的特点。

每层神经网络的物理理解：通过现有的不同物质的组合形成新物质。

2、深度学习的学习技巧

https://mp.weixin.qq.com/s/_rQabfvxQ4Q41K_vJTY8Fw

（1）数据预处理

What：输入神经网络数据的好坏直接关系着网络训练结果，一般需要对数据进行预处理，常用的数据预处理方式有：

①　去均值：每个原始数据减去全部数据的均值，即把输入数据各个维度的数据都中心化到0；

②　归一化：一种方式是使用去均值后的数据除以标准差