深度学习入门:基于python的理论与实现---书中108页或111页代码疑惑

问题

书上对应的位置是108页的这一块，具体疑惑已经写在下面了。

或者也可以说111页，如下。

问题解答

1 numerical_gradient函数

一步一步看问题，首先贴出numerical_gradient的代码实现如下：

def numerical_gradient(f, x):
    h = 1e-4 # 0.0001
    grad = np.zeros_like(x)
    
    it = np.nditer(x, flags=['multi_index'], op_flags=['readwrite']) # 迭代读取数据到it中，同时还能获取它的索引，以及修改x中的值
    while not it.finished: # 挨个读取it中的数据
        idx = it.multi_index # 获取当前数据的索引比如说(0, 1)这种或者0(一维)
        tmp_val = x[idx]
        x[idx] = float(tmp_val) + h
        fxh1 = f(x) # f(x+h)
        
        x[idx] = tmp_val - h 
        fxh2 = f(x) # f(x-h)
        grad[idx] = (fxh1 - fxh2) / (2*h) # 存储梯度
        
        x[idx] = tmp_val # 还原值
        it.iternext()   
        
    return grad

具体作用就是用来求行数f在x取值的时候的梯度(倒数)，如果f是多个变量就将每个变量的偏导数求出来，并放在grad里面返回出去。

2 loss函数

loss函数代码如下

# x:输入数据, t:监督数据
    def loss(self, x, t):
        y = self.predict(x)
        return cross_entropy_error(y, t) # 获取交叉熵损失值

具体作用就是用来求交叉熵损失值
看到上面还有个predict函数具体代码如下

    def predict(self, x): # 进行运算预测，模拟神经网络正向过程
        W1, W2 = self.params['W1'], self.params['W2']
        b1, b2 = self.params['b1'], self.params['b2']
    
        a1 = np.dot(x, W1) + b1
        z1 = sigmoid(a1)
        a2 = np.dot(z1, W2) + b2
        y = softmax(a2)
        
        return y

上面的sigmoid和softmax就不用管了，还有一点要特别注意！！！predict函数和loss函数都是在同一个类里面，然后里面的self.params是参数，初始化的时候随机生成的！
在loss里面还有一个cross_entropy_error函数，可以不用管。
self.params里面的参数如下：

    def __init__(self, input_size, hidden_size, output_size, weight_init_std=0.01):
        # 初始化权重
        self.params = {}
        self.params['W1'] = weight_init_std * np.random.randn(input_size, hidden_size)
        self.params['b1'] = np.zeros(hidden_size)
        self.params['W2'] = weight_init_std * np.random.randn(hidden_size, output_size)
        self.params['b2'] = np.zeros(output_size)

问题解答

这里要注意numerical_gradient里面的numerical_gradient并不是自己本身，而是从外部导入的，因为如果要用本身，那么得用self…
如上图，为什么numerical_gradient可以直接把self.params[‘W1’]这种参数传进去而且和loss_W相互配合起到作用，而求得loss_W对于W1权重的导数梯度？
可以明显的看到loss_W传的参数W不会对self.loss函数产生任何影响！
所以这个W1权重参数传进去是怎么起到求出导数的作用呢？
关键就在于传的loss_W里面的self.loss是使用了numerical_gradient里面的x和t参数的，而且！self.loss里面是使用了参数权重W1的，在predict里面！！！
而且！在numerical_gradient里面是改变了W1的！！！因为里面的x就是W1传进去的！！！所以在**predict函数运行的时候，predict函数的值是发生了改变，**就能起到连环反应，导致f(x)既self.loss的值发生改变，进而求得，self.loss对于W1的导数值。

这里搞了好久才搞懂的，因为很疑惑这是怎么起作用的。。。，搞懂了就舒服了