定理补充描述：
1.Mercer定理说，任何满足对称性和正定性的二元函数k(x,y)都能找到 Hilbert space V \mathcal{V} V 和函数 ψ \psi ψ 使得 k(x,y) = ⟨ ψ ( x ) , ψ ( y ) ⟩ . \langle \psi(x),\psi(y)\rangle. ⟨ψ(x),ψ(y)⟩.
2.矩阵的特征值和特征向量
3.矩阵的内积和范数
4.机器学习之范式规则化
正则化有什么用？为什么有用？
L0范数是指向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话，就是希望W的大部分元素都是0。
L1范数是指向量中各个元素绝对值之和，也有个美称叫“稀疏规则算子”
**L0L1都可以实现稀疏，既然L0可以实现稀疏，为什么不用L0，而要用L1呢？**个人理解一是因为L0范数很难优化求解（NP难问题），二是L1范数是L0范数的最优凸近似，而且它比L0范数要容易优化求解。
为什么需要稀疏呢？ 特征选择和可解释性两方面。
L2范数是指向量各元素的平方和然后求平方根。我们让L2范数的规则项||W||2最小，可以使得W的每个元素都很小，都接近于0，但与L1范数不同，它不会让它等于0，而是接近于0，
为什么要用L2呢？学习理论(防止过拟合)和优化计算(有助于处理 condition number不好的情况下矩阵求逆很困难的问题)两方面。
condition number就是拿来衡量ill-condition系统的可信度的，
如果方阵A是非奇异的，那么A的conditionnumber定义为：
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
