![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 89
瑶翰来了
认识这个世界多一点!
展开
-
最小二乘有监督回归(四)模型选择
最小二乘有监督回归(四)模型选择 针对前几节提出的约束条件和核模型的的参数不同,拟合效果也不一样,此节主要介绍如何选择最合适的模型参数 参数主要是拉格朗日乘子和核模型带宽h 先看效果 那么如何来确定参数呢,交叉验证法,把训练样本的一部分拿出来作为测试样本,不将其用于学习,只用于评价最终学习结果的泛化误差,方法如下 matlab程序 ...原创 2019-11-22 11:06:30 · 152 阅读 · 0 评论 -
最小二乘有监督回归(三)带L2约束条件的最小二乘
最小二乘有监督回归(三)带L2约束条件的最小二乘 带约束条件主要是解决因为噪声造成的过拟合的问题 条件一: p满足p方=p,p转置还等于p,此式表示的是矩阵p的值域的正交矩阵。将参数设计矩阵 换成此矩阵乘以p即可。 参数空间限制为 例程 条件二 L2约束 将参数限制在超球内。 用拉格朗日对偶问题的方法进行求解 拉格朗日乘子由半径R来决定,求解过程较为复杂,简化一下,直接指定拉格朗日乘子,...原创 2019-11-22 10:36:41 · 1209 阅读 · 0 评论 -
最小二乘有监督回归(二)随机梯度下降的训练方法
最小二乘有监督回归(二) 上节写了线性模型,这节主要写核模型。原创 2019-11-22 09:26:29 · 113 阅读 · 0 评论 -
最小二乘有监督回归(一)
最小二乘有监督回归 最小二乘学习法是根据输入训练数据,不断调整输入数据的权重,直到模型输出和训练集输出的平方误差最小。所以训练目的就是权重。 平方误差: (Xi,Yi)是输入的数据,theta代表权重。 使用线性模型,也就是如下图,可以理解为类似级数的感觉 如此一来,平方误差可以表示为 而线性模型可以表示为 平方误差关于权重theta的偏微分就可以写成 偏微分为0时,最小二乘满足关系式 ...原创 2019-11-21 21:42:39 · 224 阅读 · 0 评论