损失函数梯度下降

定义

Loss=(y−z)^2

 def loss(self, z, y):
        error = z - y
        cost = error * error
        cost = np.mean(cost)
        return cost

在前段时间发的class中加入上述代码 其中y是真实值 z是预测值其中loss越小越好即我们可以使用梯度下降法

找到损失函数的曲面图中明显观察到有些区域的函数值比周围的点小的数字

（可比较直观的从损失函数的曲面图上发现极值点的存在） 比如w6，w9

import numpy as np
net = Network(13)
losses = []
# 这里设置步长为1 在【-159,159】中间
w6 = np.arange(-160.0,160.0,1.0)
w9 = np.arange(-160.0,160.0,1.0)
losses = np.zeros([len(w6),len(w9)])
# 计算设定区域内每个参数取值所对应的losses
for i in range(len(w6)):
    for j in  range(len(w9)):
        net.w[6] = w6[i]
        net.w[9] = w9[j]
        z = net.forword(x)
        loss = net.loss(z,y)
        losses[i,j]=loss
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
fig = plt.figure
ax = fig.add_axes(Axes3D(fig))
w6,w9 = np.meshgrid(w6,w9)
ax.plot_surface(w6, w9, losses, rstride=1, cstride=1, cmap='rainbow')
plt.show()