从线性到非线性模型-线性回归，岭回归，Lasso回归，局部加权线性回

最新推荐文章于 2023-01-17 19:30:30 发布

myazi

最新推荐文章于 2023-01-17 19:30:30 发布

阅读量2.5k

点赞数

分类专栏：机器学习机器学习

本文链接：https://blog.csdn.net/u010865478/article/details/81774652

版权

本文探讨了从线性回归到非线性模型的过渡，包括线性回归、岭回归、Lasso回归和局部加权线性回归。线性回归通过最小化平方误差来拟合数据，而岭回归和Lasso回归通过引入正则项防止过拟合。局部加权线性回归利用加权机制实现局部分段拟合，以提高模型表现。

摘要由CSDN通过智能技术生成

从线性到非线性模型

1、线性回归，岭回归，Lasso回归，局部加权线性回归

2、logistic回归，softmax回归，最大熵模型

3、广义线性模型

4、Fisher线性判别和线性感知机

5、三层神经网络

6、支持向量机

code: https://github.com/myazi/myLearn

一、线性回归

假设有数据有 $T=\left \{ \left ( x^{(1)},y^{(1)} \right ) ,...,\left ( x^{(i)},y^{(i)} \right ) ,..., \left ( x^{(m)},y^{(m)} \right ) \right \}$ 其中 $x^{(i)}=\left \{ x_{1}^{(i)},..,x_{j}^{(i)},...,x_{n}^{(i)} \right \}$ , $y^{i}\in \mathbf{R}$ 。其中m为训练集样本数，n为样本维度，y是样本的真实值。线性回归采用一个高维的线性函数来尽可能的拟合所有的数据点，最简单的想法就是最小化函数值与真实值误差的平方（概率解释-高斯分布加最大似然估计）。即有如下目标函数：
$J\left ( \theta \right )=\frac{1}{2}\sum_{i=1}^{m}\left ( h_{\theta }\left ( x^{(i)} \right )-y^{(i)} \right )^{2}\\ \min_{\theta }J\left ( \theta \right )$
其中线性函数如下：

$h_{\theta }\left ( x^{(i)}\right )=\theta _{0} + \theta _{1}x_{1}^{\left (i \right )}+ \theta _{2}x_{2}^{\left (i \right )}+..+ \theta _{n}x_{n}^{\left (i \right )}\\ =\sum_{j=1}^{n}\theta _{j}x_{j}^{\left (i \right )}\\ =\mathbf{\theta}^{T} \mathbf{x}^{(i)}$