本文介绍了回归算法的基础知识，包括线性回归、局部加权回归。线性回归通过最小二乘法求解，而局部加权回归利用权重矩阵和核函数对附近点赋予更高权重，解决欠拟合问题。
机器学习算法——回归算法总结（一）
回归算法与分类算法都属于监督学习算法，不同的是，分类算法中标签是一些离散值，代表不同的分类，而回归算法中，标签是一些连续值，回归算法需要训练得到样本特征到这些连续标签之间的映射。
1.线性回归
2.局部加权回归
3.岭回归
4.Lasso回归
5.CART回归树
一 线性回归：
线性回归是一类重要的回归问题，在线性回归中，目标值和特征之间存在线性相关的关系
1 基本的线性回归
线性回归模型 一般有如下的线性回归方程：
y = b + ∑ i = 1 n w i x i \displaystyle\sum_{i=1}^{n}w_ix_i i=1∑nwixi 其中b为偏置 ， w i w_i wi为回归系数。对于上式令 x 0 x_0 x0 =1 可以写成 y= ∑ i = 0 n w i x i \displaystyle\sum_{i=0}^{n}w_ix_i i=0∑nwixi
2 线性回归模型的损失函数
线性回归的评价是指如何度量预测值与标签之间的接近程度。线性回归模型的损失函数可以是绝对损失和平方损失
其中，绝对损失为 l = |y - y ∗ y^* y∗| 其中 y ∗ y^* y∗为预测值，且 y ∗ = ∑ i = 0 n w i x i y^*=\displaystyle\sum_{i=0}^{n}w_ix_i y∗=i=0∑nwixi
平方损失函数：l = ( y − y ∗ ) 2 (y - y^*)^2 (y−y∗)2
由于平方损失处处可导，通常使用平方误差作为线性回归模型的损失函数。
假设有m个样本，每个样本有n-1个特征，则平方误差可表示为：
l=0.5* ∑ i = 1 m ( y ( i ) − ∑ j = 0 n − 1 w j x j ( i ) ) 2 \displaystyle\sum_{i=1}^{m}(y^{(i)}-\displaystyle\sum_{j=0}^{n-1}w_jx_{j}^{(i)})^2 i=1∑
最低0.47元/天 解锁文章
2077
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
