线性代数部分知识点回顾
范数是一种距离的表示(曼哈顿距离),或者说向量的长度。
L0范数指这个向量中非0元素的个数。
可以通过L0范数减少非零元素的个数,从而减少参与决策的特征,减少参数。
L1范数指的是向量中所有元素的绝对值之和。它也被称为稀疏规则算子。
为什么要实现权值稀疏呢?
在设计模型的过程中,我们有时会使用到大量的特征,有一部分特征对于最后结果的贡献非常小,甚至近乎于0,这些用处不大的特征,我们希望能够将其舍弃,以更方便模型做出决策。
L2范数指的是向量中所有元素平方和的平方根。也叫“岭回归”和“权值衰减”
L2也代表一种距离,即欧式距离。
L2的作用是防止过拟合。
越小的参数,模型就越简单。
越简单的模型,就越不容易过拟合。
L2实际上就是让向量中所有元素的平方和再开方,如果我们要避免模型过拟合,就要使L2最小,这意味着向量中的每一个元素的平方都要尽量小且接近于0。
信息论
熵,也称信息熵
熵的定义公式
相对熵
交叉熵
三种度量方式放在一起看,就会发现其中的关联。有如下的公式。