@花树-第4章梯度优化P62页
待优化公式
首先计算该梯度:
然后得到梯度优化的算法流程:
我这里设置矩阵A为(2X2)大小,X为(2X1),b为(2X1),这样是因为可以画出图片因此观察较明显。然后就是简单的复现:
附上代码:
# -*- coding: utf-8 -*-
"""
Created on Thu Oct 13 20:20:46 2022
@author: dell
"""
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei'] # 显示中文
plt.rcParams['axes.unicode_minus']=False #显示正负号
A = np.random.rand(2,2)
#X = np.random.randint(0,4,(3,1))
X = np.random.rand(2,1)
b = np.random.randint(0,2,(2,1))
df = np.dot( np.dot(A.T , A) , X) - np.dot(A.T , b)
error = 0.003
a = 0.005
error_1=np.linalg.norm(x=df,ord=2)
y = []
bb = []
while error_1 > error:
df = np.dot( np.dot(A.T , A) , X) - np.dot(A.T , b)
error_1=np.linalg.norm(x=df,ord=2)
X = X- a * df
y.append(error_1)
bb.append(X)
print(error_1,'\n',X)
x_1 = [float(i[0]) for i in bb]
x_2 = [float(i[1]) for i in bb]
plt.figure()
ax = plt.axes(projection='3d')
ax.plot3D(x_1, x_2, y, 'gray')
plt.show()
结果图
注意每次的结果图是不一样的,因为我对矩阵A,和向量b的取值是随机的。程序后有输出结果,分别是当前误差的输出和当前X的取值(x1,x2)