[Deep Learning]——MLP反向传播、2D函数优化实例（PyTorch）

Chain rule

Multi-Layer Perceptron

前向传播与后向传播流程请参考：反向传播算法实例_Yale-曼陀罗-CSDN博客_反向传播算法例子

1、反向传播

李宏毅课件资料：链接：https://pan.baidu.com/s/1ykSk1I5Av1BQZOUSqkjghg  提取码：e8tz

在深度网络中，主要是通过反向传播进行 "权值修正"，使得实际输出于期望输出最接近，即：实际输出与期望输出之间的误差最小。

算法实现过程主要分两步：
（1）前向传播： 求得初始状态下，实际输出和期望输出之间的总误差Δ
（2）反向传播： 根据 “链式求导法则” 对输出层、隐藏层的权值进行修正，从而缩小实际输出与期望输出之间的总误差。

（1）输出层到隐藏层权值更新

（2）隐藏层到输入层的权值更新

一、2D函数优化实例

Himmelblau function 用于在示例函数上搜索，来检测优化器是否可以找到最优解

 图形绘制：

import torch
import numpy as np
from matplotlib import pyplot as plt
from torch.nn import functional as F

def himmelblau(x):
    return (x[0]**2 + x[1] - 11)**2 + (x[0] + x[1]**2 - 7)**2

#2D函数优化问题
def test():
    x = np.arange(-6, 6, 0.1) #120个点
    y = np.arange(-6, 6, 0.1)
    print('x,w range: ', x.shape, y.shape)
    #numpy.meshgrid()——生成网格点坐标矩阵
    #每个交叉点都是网格点，描述这些网格点的坐标的矩阵，就是坐标矩阵
    X, Y = np.meshgrid(x, y)
    print('X, Y maps: ', X.shape, Y.shape)
    Z = himmelblau([X, Y])
    print(Z.shape)

    #绘图
    fig = plt.figure('himmelblau')
    #绘制3D图形 fig.gca
    ax = fig.gca(projection='3d')
    #X,Y,Z	2D数组形式的数据值
    ax.plot_surface(X, Y, Z)
    #图像视角转换
    ##改变绘制图像的视角,即相机的位置,azim沿着z轴旋转，elev沿着y轴
    ax.view_init(60, -30)
    ax.set_xlabel('x')
    ax.set_ylabel('y')
    plt.show()

if __name__ == '__main__':
    test()

 Minima

def gradient_descent():
    # 梯度下降函数初始化很重要，不同的初始化会求出不一样的结果
    x = torch.tensor([0., 0.], requires_grad=True)
    optimizer = torch.optim.Adam([x], lr=1e-3)
    for step in range(20000):
        pred = himmelblau(x)

        #清空梯度值
        optimizer.zero_grad()
        pred.backward()
        optimizer.step()

        if step % 2000 == 0:
            print('step {} : x = {}, f(x) = {}'
                    .format(step, x.tolist(), pred.item()))