使用梯度下降求函数的极小值

使用梯度下降求函数的极小值


本篇文章有助于了解梯度下降。这里用函数的变量x和y进行梯度下降,目标是求函数的极小值。而深度学习中是对权重W和偏置值b进行梯度下降,目标是求损失函数的极小值。

	import numpy as np
        from mpl_toolkits.mplot3d import     Axes3D
        from matplotlib import pyplot as plt
	import torch
	
	# 目标函数
	def fun(x):
	    return (x[0] ** 2 + x[1] - 11) ** 2 + (x[0] + x[1] ** 2 - 7) ** 2

	x = np.arange(-6, 6, 0.1)
	y = np.arange(-6, 6, 0.1)
	# print(x)
	# print(type(x))
	print('x,y range:', x.shape, y.shape)
	X, Y = np.meshgrid(x, y)
	# print(X)
	print('X,Y maps:', X.shape, Y.shape)
	Z = fun([X, Y])
	
	# 对函数进行可视化
	fig = plt.figure('fun')
	ax = fig.gca(projection='3d')
	ax.plot_surface(X, Y, Z)
	ax.view_init(60, 30)
	ax.set_xlabel('x')
	ax.set_ylabel('y')
	
	# 对x赋初值,不同的初始值可能得到的极小值不一样
	x = torch.tensor([4., 0.], requires_grad=True)
	optimizer = torch.optim.Adam([x], lr=1e-3)
	for step in range(20000):
	    pred = fun(x)
	    optimizer.zero_grad()
	    pred.backward()
	    optimizer.step()
	
	    if step % 2000 == 0:
	        print('step{} : x = {}, f(x) = {}'.format(step, x.tolist(), pred.item()))
	
	plt.show()
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
梯度下降是一种常用的优化算,用于求解函数的极小值。在Python中,可以使用NumPy库来实现梯度下降。 以下是使用梯度下降求函数极小值的步骤: 1. 定义目标函数:首先,需要定义一个目标函数,即要求解极小值的函数。例如,我们可以定义一个简单的二次函数作为目标函数:f(x) = x^2。 2. 初始化参数:选择一个初始作为起始,并初始化学习率和迭代次数。学习率决定了每次迭代更新参数的步长,迭代次数决定了算的收敛性。 3. 计算梯度:计算目标函数在当前参数处的梯度梯度表示了函数在该处的变化率和方向。 4. 更新参数:根据梯度和学习率,更新参数的数值。更新规则为:参数 = 参数 - 学习率 * 梯度。 5. 迭代更新:重复步骤3和步骤4,直到达到指定的迭代次数或满足停止条件(例如梯度接近于零)。 下面是一个使用梯度下降求解目标函数极小值的Python代码示例: ```python import numpy as np # 定义目标函数 def target_function(x): return x**2 # 梯度下降求解极小值 def gradient_descent(learning_rate, num_iterations): # 初始化参数 x = 0 # 迭代更新 for i in range(num_iterations): # 计算梯度 gradient = 2 * x # 更新参数 x = x - learning_rate * gradient return x # 设置学习率和迭代次数 learning_rate = 0.1 num_iterations = 100 # 调用梯度下降函数 result = gradient_descent(learning_rate, num_iterations) print("极小值:", result) print("极小值:", target_function(result)) ``` 运行以上代码,将得到目标函数的极小值极小值
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Deep Play

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值