数学基础
qq_40432881
这个作者很懒,什么都没留下…
展开
-
机器学习中的范数规则化之核范数及其应用
我的博客中参考了大量的文章或者别的作者的博客,有时候疏忽了并未一一标注,本着分享交流知识的目的,如果侵犯您的权利,这并非我的本意,如果您提出来,我会及时改正。主要内容概述:1.核范数的引入及其作用2.稀疏与低秩3.核范数的相关应用1.核范数的引入及其作用核范数||W||*是指矩阵奇异值的和,英文称呼叫Nuclear Norm。这个相对于上面火热的L1和L2来说,可能大家就会陌生点。那它...转载 2018-12-12 14:42:24 · 8438 阅读 · 5 评论 -
机器学习中的范数规则化之L21范数
先看上面l21范数的定义,注意原始矩阵是n行t列的,根号下平方是对列求和,也就是说是在同一行中进行操作的,根号部分就相当于一个l2范数,由此可以看出l21范数实则为矩阵X每一行的l2范数之和。在矩阵稀疏表示模型中,把它作为正则化项有什么作用呢?前面说到它是每一行的l2范数之和,在最小化问题中,只有每一行的l2范数都最小总问题才最小。而每一个行范数取得最小的含义是,当行内尽可能多的元素为0时,约...转载 2018-12-12 14:49:40 · 12565 阅读 · 0 评论 -
机器学习中的范数规则化之L0、L1、L2范数
我的博客中参考了大量的文章或者别的作者的博客,有时候疏忽了并未一一标注,本着分享交流知识的目的,如果侵犯您的权利,这并非我的本意,如果您提出来,我会及时改正。本篇博客主要是为了解决机器学习中的过拟合和规则化问题,内容以线性回归为基础进行阐述,其优化使用的均为向量范数。主要内容概述如下:0.从监督学习中的优化问题谈起1.范数的引入2.范数的定义及公式3.L0、L1范数的理解4.L2范数...原创 2018-12-11 22:30:02 · 1494 阅读 · 0 评论