花书学习笔记(1) 范数、特征分解、奇异值分解、伪逆、自信息

范数

$L^p$ 范数定义为：

$$||x||_p=\left(\sum_i|x_i|^p\right)^{\frac{1}{p}}$$

• 不同范数之间的特点
  $L^2$ 范数：在机器学习目标函数中经常出现，平方$L^2$范数常为优化问题中的正则项。缺点是在零点附近增长缓慢。
  $L^1$ 范数：区分零与非零元素
  $L^0$ 范数：非零元素的个数。在实际问题中，经常以$L^1$范数作为代替函数。
  $Frobenius$ 范数： ||A||F=∑i,jA2i,j−−−−−