weixin_52259843的博客

参数的更新SGD随机梯度下降法为了找到最优参数，我们将参数的梯度(导数)作为了线索。使用参数的梯度，沿梯度方向更新参数，并重复这个步骤多次，从而逐渐靠近最优参数，这个过程称为随机梯度下降法，简称SGD。class SGD: def __init__(self, lr): self.lr = lr def update(self, params, grads): for key in params.keys(): params[ke

第五章节点的正向传播和反向传播简单加法乘法层的实现# 乘法层的实现class MulLayer: def __init__(self): self.x = None self.y = None def forward(self, x, y): self.x = x self.y = y out = x * y return out def backward(self, dout

第四章机器学习中使用的数据集分为训练数据和测试数据神经网络用训练数据进行学习，并用测试数据评价学习到的模型的泛化能力神经网络的学习以损失函数为指标，更新权重参数，以使损失函数的值减小利用某个给定的微小值的差分求导数的过程，称为数值微分利用数值微分，可以计算权重参数的梯度数值微分虽然费时间，但实现起来简单。下一章中要实现的稍微复杂一些的误差反向传播法可以高速的计算梯度损失函数损失函数是表示神经网络性能的“恶劣程度”的指标，“使性能的恶劣程度达到最小”和“使性能的优良恶劣程度达到最大”

第三章激活函数实际上，上一章的感知机和接下来要介绍的神经网络的主要区别就在于这个激活函数。**跃函数的实现

第2章感知机的实现使用感知机实现与门、与非门、或门、异或门我们给三种电路分别设置的权重和偏置为：ANDNANDORw10.5-0.50.5w20.5-0.50.5b-0.70.7-0.2import numpy as npdef AND(x1, x2): x = np.array([x1, x2]) w = np.array([0.5, 0.5]) b = -0.7 tmp = np.sum(x*w) + b if tm