- 博客(5)
- 收藏
- 关注
RSS订阅原创 神经网络_图灵_6第六章_与学习相关的技巧
参数的更新 SGD随机梯度下降法 为了找到最优参数，我们将参数的梯度(导数)作为了线索。使用参数的梯度，沿梯度方向更新参数，并重复这个步骤多次，从而逐渐靠近最优参数，这个过程称为随机梯度下降法，简称SGD。 class SGD: def __init__(self, lr): self.lr = lr def update(self, params, grads): for key in params.keys(): params[ke
2021-02-07 22:05:17
80
原创 神经网络_图灵_5第五章
第五章 节点的正向传播和反向传播 简单加法乘法层的实现 # 乘法层的实现 class MulLayer: def __init__(self): self.x = None self.y = None def forward(self, x, y): self.x = x self.y = y out = x * y return out def backward(self, dout
2021-02-07 14:21:34
201
原创 神经网络_图灵_4第四章
第四章 机器学习中使用的数据集分为训练数据和测试数据 神经网络用训练数据进行学习，并用测试数据评价学习到的模型的泛化能力 神经网络的学习以损失函数为指标，更新权重参数，以使损失函数的值减小 利用某个给定的微小值的差分求导数的过程，称为数值微分 利用数值微分，可以计算权重参数的梯度 数值微分虽然费时间，但实现起来简单。下一章中要实现的稍微复杂一些的误差反向传播法可以高速的计算梯度 损失函数 损失函数是表示神经网络性能的“恶劣程度”的指标，“使性能的恶劣程度达到最小”和“使性能的优良恶劣程度达到最大”
2021-02-07 14:17:15
79
原创 神经网络_图灵_2第二章
第2章 感知机的实现 使用感知机实现与门、与非门、或门、异或门 我们给三种电路分别设置的权重和偏置为： AND NAND OR w1 0.5 -0.5 0.5 w2 0.5 -0.5 0.5 b -0.7 0.7 -0.2 import numpy as np def AND(x1, x2): x = np.array([x1, x2]) w = np.array([0.5, 0.5]) b = -0.7 tmp = np.sum(x*w) + b if tm
2021-02-04 18:20:55
74
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人