tensorflow2.0学习笔记--线性回归(基础)

神经元数学模型简化

y=wx+b

当有多个数据时是在此基础上求w 和 b

计算w和b的过程是计算机自动学习的

如何判断w和b的结果是否很好?

求预测值与真实值之间的差的平方和作为总误差\pounds,这种误差计算方法称为均方差MSE

当有一组w和b的\pounds最小时,对应的直线就是我们寻找的最优直线

公式含义:w*,b*= 最小的\pounds时的w和b

优化方法

我们常说的优化方法是优化找出w和b的方法最简单的是暴力搜素或随机试验来找到最合适的w和b,但是面对多维数据这种方法基本不可行,这里我们使用梯度下降算法

我们要使得\pounds最小,可以使用求导的方法。当\pounds的导数为0时我们可以知道这个点是\pounds的极值点或者说是驻点,这样我们再对驻点进行验证。就可以找到\pounds的最小值。

f(x,y)=-(\cos ^{2}x+\cos^{2}y)^{2} 的函数图1

                                 

                                                                                             图1

我们可以将xy 替换为我们要学习的w和b这样就可以更容易理解了f(w,b)=-(\cos ^{2}w+\cos ^{2}b)^{2}.

我们想要求f(w,b)的最小值,如上图所示,我们可以沿着梯度向量(\bigtriangledown f)的反方向进行寻找即(-\bigtriangledown f)这样我们就能找到最小值了。

我们可以按照下面的公式进行更新w和b,为什么用这个公式我也在看(哭泣)

                                                                           

\eta就是学习率

通过这个公式优化参数的方法称为梯度下降算法。通过循环计算梯度\bigtriangledown f\frac{\partial\pounds}{\partial w}来寻找最小值。

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值