weixin_38477351的博客

深度学习入门-与学习相关的技巧摘要参数更新方法：SGD、Momentum、AdaGrad、Adam等。 权重初始值的赋值方法对进行正确的学习非常重要。 作为权重初始值，Xavier初始值、He初始值等比较有效。 通过使用 Batch Normalization（批归一化），可以加速学习，并且对初始值变得健壮。 抑制过拟合的正则化技术有：权值衰减、Dropot等。 逐渐缩小 “好值”存在的范围是搜索超参数的一个有效方法。1.参数的更新 最优化（optimiza...

深度学习入门-误差反向传播法摘要通过使用计算图，可以直观地把握计算过程。 计算图的节点是由局部计算构成的。局部计算构成全局计算。 计算图的正向传播进行一般的计算。通过计算图的反向传播，可以计算各个节点的导数。 通过将神经网络的组成元素实现为层，可以高效地计算梯度（反向传播法）。 通过比较数值微分和误差反向传播法的结果，可以确认误差反向传播法的实现是否正确（梯度确认）。1、计算图 通过数值微分计算神经网络的权重参数的梯度（严格来说，是损失函数关于权重参数的梯度），优点：简单、...

深度学习入门-神经网络的学习1、从数据中学习 神经网络的特征：从数据中学习。 从数据中学习：可以由数据自动决定权重参数的值。1.1数据驱动 如何实现手写数字 “5”的识别？图 3-1 手写数字5的例子 图 3-2 从人工设计规则转变为由机器从数据中学习 方案一：人工想到的算法。 方案二：先从图像中提取特征量，再用机器学习技术学习这些特征的模式。 特征量：可以从输入数据（输入图像）中准确地提取本质数据（重要的...

神经网络中的激活函数使用平滑变化的 sigmoid函数或 ReLU函数。通过巧妙地使用 NumPy多维数组，可以高效地实现神经网络。机器学习的问题大体上可以分为回归问题和分类问题。关于输出层的激活函数，回归问题中一般用恒等函数，分类问题中一般用 softmax函数。分类问题中，输出层的神经元的数量设置为要分类的类别数。输入数据的集合称为批。通过以批为单位进行推理处理，能够实现高速的运算。

感知机是具有输入和输出的算法。给定一个输入后，将输出一个既定的值。感知机将权重和偏置设定为参数。使用感知机可以表示与门和或门等逻辑电路。异或门无法通过单层感知机来表示。使用 2层感知机可以表示异或门。单层感知机只能表示线性空间，而多层感知机可以表示非线性空间。多层感知机（在理论上）可以表示计算机。