01|经元说起，数学篇

线性代数部分知识点回顾
范数是一种距离的表示（曼哈顿距离），或者说向量的长度。
L0范数指这个向量中非0元素的个数。
可以通过L0范数减少非零元素的个数，从而减少参与决策的特征，减少参数。
L1范数指的是向量中所有元素的绝对值之和。它也被称为稀疏规则算子。

为什么要实现权值稀疏呢？
在设计模型的过程中，我们有时会使用到大量的特征，有一部分特征对于最后结果的贡献非常小，甚至近乎于0，这些用处不大的特征，我们希望能够将其舍弃，以更方便模型做出决策。
L2范数指的是向量中所有元素平方和的平方根。也叫“岭回归”和“权值衰减”
L2也代表一种距离，即欧式距离。
L2的作用是防止过拟合。
越小的参数，模型就越简单。
越简单的模型，就越不容易过拟合。

L2实际上就是让向量中所有元素的平方和再开方，如果我们要避免模型过拟合，就要使L2最小，这意味着向量中的每一个元素的平方都要尽量小且接近于0。

信息论
熵，也称信息熵
熵的定义公式

相对熵
交叉熵
三种度量方式放在一起看，就会发现其中的关联。有如下的公式。