深度学习与PyTorch入门实战教程

2D函数优化实例P36

https://www.bilibili.com/video/BV1AV411z79D?p=37

'''
Broadcasting  自动扩充维度
避免手动扩充维度，省内存

拼接和拆分
cat
stack 创建新的维度拼接
split 拆分
chunk

a = torch.rand(4,32,8)
b = torch.rand(5,32,8)
c = torch.cat([a,b],dim = 0).shape
print('c:',c)

# 矩阵乘法三种形式 torch.matmul  torch.mm   @

a = 2*torch.ones(2,2)
b = torch.ones(2,2)
print('a\n',a,'\nb',b)
print('11111',torch.mm(a,b))
print('22222',torch.matmul(a,b))
print('33333',a@b)

#降维操作
#a.t() a的转置，
a = torch.rand(4,784)
x = torch.rand(4,784)
w = torch.rand(512,784)
print((x@w.t()).shape)

#norm 范数
a = torch.full([8],1.0)
b = a.view(2,4)
print('a:\n',a,'\nb',b)
print(a.norm(2))

#梯度 把对函数的偏微分看成一个向量来理解=梯度 （x,y）
#同样的网络同样的参数，初始值不一样可能得到的最优解也不一样
#LOSS损失函数
MSE 均方误差损失函数 （Mean Squared Error) ∑（y-y'）**2
L2范数要开根号，均方误差不开根号
感知机
反向传播
'''

import torch
import numpy as np
import matplotlib.pyplot as plt
def himmelblau(x):      #函数（x**2+y-11）**2 + (x+y**2 -7)**2
    return (x[0] ** 2 + x[1] - 11) ** 2 + (x[0] + x[1] ** 2 - 7) ** 2
x = np.arange(-6, 6, 0.1)
y = np.arange(-6, 6, 0.1)
#print(x, '\ny', y)
print('x, y shape:', x.shape,y.shape)
X, Y = np.meshgrid(x,y)     #增加维度
#print(X,'\nY',Y)
print('X ,Y maps:',X.shape,Y.shape)
Z = himmelblau([X,Y])

fig = plt.figure('himmelblu')
ax = fig.gca(projection = '3d')
ax.plot_surface(X,Y,Z)
ax.view_init(60, -30)  #模型视角调整
ax.set_xlabel('x')
ax.set_ylabel('y')
plt.show()
x = torch.tensor([0.,0.],requires_grad = True)   #对于不同的初始化，找到的极小值不同 True 需要梯度初始值信息
optimizer = torch.optim.Adam([x],lr = 0.001)     #优化目标[x]  0.001 学习率
for step in range(20000):
    pred = himmelblau(x)
    optimizer.zero_grad()
    pred.backward()
    optimizer.step()    #更新梯度
    if step % 2000 == 0:
        print('step {} : x = {} , f(x) = {}'
              .format(step,x.tolist(),pred.item()))