先锋小牛

目录梯度下降法哈密顿算子最优化问题和回归分析代价函数学习数据和正解误差反向传播法神经单元误差​梯度下降法梯度下降法是一种寻找最小值的点的方法，在数值分析领域，梯度下降法也称最速下降法近似公式表示为两个向量的内积形式向量a,b的内积为，为180时内积的值最小，可得向量a满足以下条件式时，内积取最小值两个变量函数的梯度下降法的基本式子函数z = f(x, y)，当x改变，当y改变时，函数 f(x, y)的变化为下式...

1，神经元点火公式正在上传…重新上传取消2，单位阶跃函数：正在上传…重新上传取消3，激活函数：将神经元的工作一般化。即，将是单位跃阶函数（u）。一般化为正在上传…重新上传取消将上式变为：正在上传…重新上传取消函数a是自定义的函数，称为激活函数4，Sigmoid:是激活函数中的一种正在上传…重新上传取消将参数z整理为加权输入，即正在上传…重新上传取消将参数z带入Sigmoid中计算结果5，神经网络分为输入层，隐藏层和输出层6，监督学习：根据给定的学习

1、损失函数的意义机器学习中的监督学习本质上是给定一系列训练样本 ，尝试学习 的映射关系，使得给定一个 ，即便这个 不在训练样本中，也能够得到尽量接近真实 的输出 。而损失函数（Loss Function）则是这个过程中关键的一个组成部分，用来衡量模型的输出 与真实的 之间的差距，给模型的优化指明方向。2、回归问题的损失函数2.1 均方差损失均方差 Mean Squared Error (MSE) 损失是机器学习、深度学习回归任务中最常用的一种损失函数，也称为 L2 Loss。从直觉上理.

激活函数是神经网络中非线性的来源，因为如果去掉这些函数，那么整个网络就只剩下线性运算，线性运算的复合还是线性运算的，最终的效果只相当于单层的线性模型.(1)Sigmoid函数左端趋近于0，右端趋近于1，且两端都趋于饱和.关于函数饱和解释:参考https://www.cnblogs.com/tangjicheng/p/9323389.html如果我们初始化神经网络的权值为 [0,1] 之间的随机值，由反向传播算法的数学推导可知，梯度从后向前传播时，每传递一层梯度值都会减小为原来的0.25倍，如