机器学习1

术语	含义
准确率	正确的预测舒/样本总数（多类别分类）
激活函数	对上一层所有输入求加权和，生成一个输出值

激活函数通常有两种 ReLU 和 sigmoid

1. 为何引入非线性的激活函数？
   如果不用激活函数，在这种情况下每一层输出都是上层输入的线性函数。容易验证，无论神经网络有多少层，输出都是输入的线性组合
2. Sigmoid

优点：
1.Sigmoid函数的输出映射在(0,1)之间，单调连续，输出范围有限，优化稳定，可以用作输出层。
2.求导容易。
缺点：
1.由于其软饱和性，容易产生梯度消失，导致训练出现问题。
2.其输出并不是以0为中心的。

3. ReLU
   
   对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢失，，从而无法完成深层网络的训练。ReLu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。

术语	含义
反向传播算法	在神经网络上执行梯度下降法的主要算法

反向传播算法（Backpropagation）是目前用来训练人工神经网络（Artificial Neural Network，ANN）的最常用且最有效的算法。其主要思想是：
（1）将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；
（2）由于ANN的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；
（3）在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。

术语	含义
批次 (batch)	模型训练的一次迭代（即一次梯度更新）中使用的样本集。
偏差 (bias)	距离原点的截距或偏移。偏差（也称为偏差项）在机器学习模型中用 b 或 w0 表示