“深度学习”学习日记。神经网络的学习--学习率

最新推荐文章于 2023-02-15 17:31:38 发布

在撒哈拉卖雨伞

最新推荐文章于 2023-02-15 17:31:38 发布

阅读量205

点赞数 1

文章标签：深度学习神经网络学习

本文链接：https://blog.csdn.net/m0_72675651/article/details/128635260

版权

2023.1.10

昨天学习到了学习率这个概念，学习率是指我们利用梯度法求取损失函数的最小值时，梯度每进行先前进行一段距离以后，在新的位置再求取梯度，进而更新参数。

学习率具体指η，在代码中这样表示： $x_{0} = x_{0} - \eta \frac{\partial f}{\partial x_{0} }$

$x_{1} = x_{1} - \eta \frac{\partial f}{\partial x_{1} }$

我们以这个函数来实现代码：利用梯度法 $f(x_{0},x_{1})=x_{0}^{2}+x_{1}^{3}+9$ 损失函数的最小值：

import numpy as np


def f(x):
    return x[0] ** 2 + x[1] ** 3 + 9


def numercial_gradient(f, x):  # 利用数值微分求梯度
    h = 1e-4
    grad = np.zeros_like(x)

    for i in range(x.size):
        tmp = x[i]

        x[i] = tmp + h
        fxh1 = f(x)

        x[i] = tmp - h
        fxh2 = f(x)

        grad[i] = (fxh1 - fxh2) / (2 * h)
        x[i] = tmp

    return grad


print("求函数的梯度", '\n')
print("输入x0的值")
x0 = float(input())  # 2
print("输入x1的值")
x1 = float(input())  # 2
x = np.array([x0, x1])
print("函数的该点梯度", '\n')
print(numercial_gradient(f, x), '\n')  # [ 4.         12.00000001]


def gradient_descent(f, x, lr, step_num):
    init_x = x

    for i in range(step_num):
        grad = numercial_gradient(f, init_x)
        x -= lr * grad

    return x


print("函数在该点的最小值")
print(gradient_descent(f, x, 0.01, 100))  # [0.26523911 0.28092286]

这个例子举得不好因为这个函数的最小值时无穷小，当损失函数是这样的话，我想这个神经网络的性能理论上可以达到非常好的效果，但是昨天用了这个函数，今天现在也用这个函数啰嗦一段吧。

现在来举一个新的例子：求函数 $f(x_{0},x_{1})=x_{0}^{2} + x_{1}^{2}$ 最小值易得最小值等于0