手写线性回归

最新推荐文章于 2024-05-23 22:54:13 发布

xingzhe2001

最新推荐文章于 2024-05-23 22:54:13 发布

阅读量859

点赞数 1

分类专栏： Machine Learning 文章标签： Linear Regression

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/xingzhe2001/article/details/85483698

版权

本文详细介绍了线性回归的基本原理，包括预测函数、代价函数的推导，以及最小二乘法的训练过程。通过实例展示了如何使用梯度下降法进行优化，并给出了线性回归的简单实现及测试用例。讨论了数据预处理对收敛速度的影响，以及超参数alpha的选择对迭代速度的控制。最后提到了随机梯度下降法作为另一种快速计算的优化方法。

摘要由CSDN通过智能技术生成

纸质笔记本很容易丢失，还是记在网上吧

线性回归是最基础的机器学习模型，假设结果和特征关系为线性，从而来预测结果

预测函数为

$h_\theta(X)=\theta_0 + \theta_1 x_1\cdots =\theta^TX$

训练的时候要最小化代价函数

根据中心极限定理，多个独立原因导致的分布是正态分布。那么多个样本的误差满足正态分布，可以通过最大化似然函数推出训练过程其实就是最小二乘法。

因为对于单个样本，误差满足

$\varepsilon^{(i)} \sim \mathbb{N}(\theta^TX^{(i)}, \sigma^2)$

即

$P(y^{(i)} | x^{(i)}; \theta) \sim \mathbb{N}(\theta^TX^{(i)}, \sigma^2)$

假设所有样本是独立同分布的，那么所有样本的似然函数为

$L(\theta)=P(y|x;\theta)=\prod_{i=1}^m P(y^{(i)}|x^{(i)};\theta)$

为了计算方便取对数

$l(\theta) = \log L(\theta) = \sum \log P = m \log \frac{1}{\sqrt{2\pi}\sigma} + \sum_{i=1}^m -\frac{(y^{(i)} - \theta^Tx^{(i)})^2}{2 \sigma^2}$

最大化 l(theta)就是最小化

$\frac{1}{2}(y^{(i)} - \theta^Tx^{(i)})^2$

也就是最小二乘法。

所以

训练的目标是

$\underset{\theta}{\min}\frac{1}{2m}\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2$

最低0.47元/天解锁文章

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
手写线性回归

纸质笔记本很容易丢失，还是记在网上吧线性回归是最基础的机器学习模型，假设结果和特征关系为线性，从而来预测结果预测函数为训练的时候要最小化代价函数根据中心极限定理，多个独立原因导致的分布是正态分布。那么多个样本的误差满足正态分布，可以通过最大化似然函数推出训练过程其实就是最小二乘法。因为对于单个样本，误差满足即假设所有样本是独立同分布的，那么所有样本的似然函...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。