AI基础篇:梯度下降法计算一元二次方程的最小值,以及PyTorch的引入。Python实现

本文介绍了如何使用梯度下降法寻找一元二次方程的最小值,并通过Python及PyTorch实现这一过程。讨论了深度神经网络优化中的类似应用,展示了手动计算和PyTorch自动求导的等效性。
摘要由CSDN通过智能技术生成

我们知道:一元二次方程:y = f(x) = x^2 + 2 * x + 1 = (x + 1)^2,当x = -1时,f(x)达到最小值0。
对方程求导数y’ = f’(x) = 2 * x + 2。也就是说y’随着x的变化而变化,当x = -1时,导数为0,而在这个时候,f(x)也恰好达到最小值。
另外,当x = -4时,y = 9,导数y’ = -6。红色的直线是x = -4时, f(x)的切线。沿着导数y’的反方向移动可以到达x = -1,即到达f(x)的最小值0。
相反,如果x = 2,y = 9,导数y’ = 6。沿着导数y’的反方向移动也可以到达x = -1,即到达f(x)的最小值0。
综合上述两种情况,只要沿着导数y’的反方向移动就可以到达f(x) 的最小值。

在这里插入图片描述
而且非常有意思的一点是,当x从-4往导数y’的反方向移动时,导数y’的值也不断的发生变化。如果我们每次都只让x移动一小步,则y’的值也逐渐增大。我们定义如下一个方程:
x = x - lr * dx。dx是x在当前点的导数,lr是一个比较小的正数,例如0.01,我们可以把lr看作是步长。
如果把x = x - lr * dx这个方程执行1000次,我们就可以发现无论x的初始值是多少,x都会变成接近-1的值,这时f(x) = 0&#

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值