梯度下降法求解方程的极值

1.方法一：

利用梯度下降算法求解y=x^2的极值。

注意：此种方法，除了x的更新之外，还有一点需要注意，那就迭代停止的条件。可以设置一个阈值a，比较x更新前后的y的差的绝对值与阈值a的大小，即Δy与a的大小。当Δy＜=a时，停止迭代。

 

import numpy as np
def f(x):
    return x**2
def h(x):
    return 2*x

x = 2 #初始点（初始横坐标）
step = 0.8#（步长）

f_change = f(x)
f_current = f(x)
count = 0#迭代次数
while f_change>1e-10:#停止迭代的条件，差值小于10^-10的时候停止迭代

    x = x-step*h(x)#更新x
    tmp = f(x)#更新x之后的f(x)的值，用另一个变量接收
    f_change = np.abs(f_current-tmp)#x更新前后的y的差值
    f_current =tmp#将更新的f(x)传入下一次的迭代
    count+=1#增加一次迭代次数
print('迭代了：%d次'%count,'\n''求得x为：',x,'\n''求得y为：',f_current)

----------------------------------------------------------------------------------------------------------------
运行结果为：
迭代了：25次 
求得x为： -5.686057605985963e-06 
求得y为： 3.233125109859082e-11

 

2.

# 梯度下降求函数极值点方法（二）
# 梯度下降求y=(x-2)^2的极值点
# 原理：因为位于极值点附近的时候导数（梯度）趋近于0，自变量的变化速度也会变小。
# 当自变量的更新前后的差值达到设定的阈值的时候，则停止迭代

#导包
import numpy as np
#原函数
def f(x):
    return x**2-4*x+4
#导数
def h(x):
    return 2*x-4

a = 16 #初始点（初始横坐标）
step = 0.1#（步长）
count =0#记录迭代次数
deta_a = 16#a更新前后的差值（初始值设定为起始点）
error_rate = 1e-5#给定的阈值
while deta_a>error_rate:
    a = a-step*h(a)
    deta_a = np.abs(deta_a - a)
    count+=1
y = f(a)

print('迭代次数%d'%count)
print(a)
print(y)
print('极值点为（%f,%f）'%(a,y))

迭代次数49
2.0002497683462233
6.238422667337318e-08
极值点为（2.000250,0.000000）

 

3.

'''
梯度下降求函数极值点方法（三）
梯度下降求y=(x-2)^2的极值点
原理：因为位于极值点，函数的导数（梯度）=0。当函数的梯度的变化值达到设定的阈值的时候，则停止迭代
'''

#导包
import numpy as np
#原函数
def f(x):
    return x**2-4*x+4
#导数
def h(x):
    return 2*x-4

a = 16 #初始点（初始横坐标）
step = 0.1#（步长）
count =0#记录迭代次数
deta_h = h(a)#a更新前后的差值（初始值设定为起始点，也可以设置为大于阈值的任意的数）
error_rate = 1e-5#给定的阈值
while deta_h>error_rate:
    b = a-step*h(a)#更新a，用新的变量接收
    deta_h = np.abs(h(b)-h(a))
    count+=1
    a = b-step*h(b)
y = f(b)

print('迭代次数%d'%count)
print(a)
print(y)
print('极值点为（%f,%f）'%(a,y))

 

 

运行结果为：

迭代次数31
2.0000137311600463
2.9460078820875424e-10
极值点为（2.000014,0.000000）