机器学习-线性回归理论笔记

最新推荐文章于 2020-07-16 09:46:23 发布

小火箭丶

最新推荐文章于 2020-07-16 09:46:23 发布

阅读量129

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/qq_35912099/article/details/96480951

版权

机器学习专栏收录该内容

19 篇文章 1 订阅

订阅专栏

线性回归:

1、图1、数据(特征(工资、年龄)) 2维所以对应y为面

2、目的(预测额度) y

3、考虑(特征的影响程度(参数))

4、假设 $\theta_{1}$ 是年龄的参数， $\theta_{2}$ 是工资的参数 theta0为偏置项

5、拟合的平面为: $h_{\theta}(x)=\theta_{0}+\theta_{1} x_{1}+\theta_{2} x_{2}$

$h_{\theta}(x)=\sum_{i=0}^{n} \theta_{i} x_{i}=\theta^{T} x$

6、 $y^{(i)}=\theta^{T} x^{(i)}+\varepsilon^{(i)}$ $\varepsilon^{(i)}$ 为误差项服从高斯分布高斯分布符合很多事件发生规律同时样本间相互独立且同分布

$p\left(\epsilon^{(i)}\right)=\frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{\left(\epsilon^{(i)}\right)^{2}}{2 \sigma^{2}}\right)$ 由于服从高斯分布误差项概率密度函数为该式

$p\left(y^{(i)} | x^{(i)} ; \theta\right)=\frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{\left(y^{(i)}-\theta^{T} x^{(i)}\right)^{2}}{2 \sigma^{2}}\right)$ 误差项替换

7、利用极大似然估计对theta进行计算实质点事让上述概率最大化这样他就越接近于与真值误差越小实际上概率就越大

接下来是公式推导实际为大学概率论知识

$L(\theta)=\prod_{i=1}^{m} p\left(y^{(i)} | x^{(i)} ; \theta\right)=\prod_{i=1}^{m} \frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{\left(y^{(i)}-\theta^{T} x^{(i)}\right)^{2}}{2 \sigma^{2}}\right)$ 似然函数

$\log L(\theta)=\log \prod_{i=1}^{m} \frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{\left(y^{(i)}-\theta^{T} x^{(i)}\right)^{2}}{2 \sigma^{2}}\right)$ 对数似然

$\begin{array}{l}{\sum_{i=1}^{m} \log \frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{\left(y^{(i)}-\theta^{T} x^{(i)}\right)^{2}}{2 \sigma^{2}}\right)} \\ {=m \log \frac{1}{\sqrt{2 \pi} \sigma}-\frac{1}{\sigma^{2}} \cdot \frac{1}{2} \sum_{i=1}^{m}\left(y^{(i)}-\theta^{T} x^{(i)}\right)^{2}}\end{array}$ 对公式进行化简

$J(\theta)=\frac{1}{2} \sum_{i=1}^{m}\left(y^{(i)}-\theta^{T} x^{(i)}\right)^{2}$ 最小二乘法这里实际将问题从极大转换成了求极小求导前变后不变

$\begin{array}{l}{J(\theta)=\frac{1}{2} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}=\frac{1}{2}(X \theta-y)^{T}(X \theta-y)} \\ {\nabla_{\theta} J(\theta)=\nabla_{\theta}\left(\frac{1}{2}(X \theta-y)^{T}(X \theta-y)\right)=\nabla_{\theta}\left(\frac{1}{2}\left(\theta^{T} X^{T}-y^{T}\right)(X \theta-y)\right)} \\ {=\nabla_{\theta}\left(\frac{1}{2}\left(\theta^{T} X^{T} X \theta-\theta^{T} X^{T} y-y^{T} X \theta+y^{T} y\right)\right)} \\ {=\frac{1}{2}\left(2 X^{T} X \theta-X^{T} y-\left(y^{T} X\right)^{T}\right)=X^{T} X \theta-X^{T} y} \\ { : \widehat{\theta}=\left(X^{T} X\right)^{-1} X^{T} y}\end{array}$

这一步实际是(Z0...Zm)(Z0...ZM)^T=累加Z^2（0-m）

最后求偏导另其为0 推出theta的估计值,x,y已知故可求.

8、线性回归能直接求解theta实际为特殊情况，其他都是需要迭代优化的.

9、评估项我们一般使用决定系数 $R^{2} : 1-\frac{\sum_{i=1}^{m}\left(\hat{y}_{i}-y_{i}\right)^{2}}{\sum_{i=1}^{m}\left(y_{i}-\overline{y}\right)^{2}}$ MSE均方误差 RMSE均方根误差

10、https://www.cnblogs.com/pinard/p/6016029.html 线性回归应用案例

小火箭丶

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
机器学习-线性回归理论笔记

线性回归:1、图1、数据(特征(工资、年龄)) 2维所以对应y为面2、目的(预测额度) y3、考虑(特征的影响程度(参数))4、假设是年龄的参数，是工资的参数 theta0为偏置项5、拟合的平面为: 6、为误差项服从高斯分布高斯分布符合很多事件发生规律...
复制链接

扫一扫