深度学习——线性回归和梯度下降

本文介绍了线性回归在机器学习中的应用,重点讲解了如何通过最小化输出与真实值的误差(如均方误差)来学习最优权重w。使用梯度下降法解决多特征情况下的最优解,以及如何通过控制步长进行迭代优化。
摘要由CSDN通过智能技术生成

线性回归:是机器学习中的回归问题

y = w.T * X + b

该模型的主要目的:就是要学习一个最优的w来表示输入和输出的关系。

怎样学习:就是希望模型输出的结果与真实结果无限逼近,就是确定一个w使得输出结果和真实的结果差值越小越好,最好为0。

用一个公式计算输出值和真实值之间的误差:

loss =( f(x)- y)^2

当有很多数据时,就采用均方误差

这样使得均方误差最小的w就是最优的w。

有什么方法可以获得最优的w呢,显然是有的梯度下降法。

最小二乘:

对于样本只有一个特征时,损失函数就是一个二元函数有最小值,可以用导数为0将最优值求解出来,但是当样本具有多个特征,对损失函数求导得到:

w = (X.T*X)^-1*X.T*Y

但是往往X.T*X不满秩,即不可逆,最小二乘法就不能帮我们求得最优w。

梯度下降法:

晚上下山法,找到一个最陡峭的方向一步一步逐渐下山。

损失函数为可微的,可微函数中的微分就是这个函数的梯度,而梯度是一个向量,梯度的方向就是函数上升最快的方向,梯度的反方向就是函数下降最快的方向。

在利用梯度下降法求解的时候,梯度更新的步伐不能太大 ,也不能太小,一般常用的为0.01或者0.001。

w = w -a*dW

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值