(1)神经元:接收输入,处理它,并产生输出,而这个输出又被发送到其他神经元用于进一步处理
(2)权重(weights):当输入进入神经元时,它会乘以一个权重
(3)偏差(bias):应用于输入的线性分量,被加到权重与输入相乘的结果中,目的是改变权重与输入乘积结果的范围
(4)激活函数:将输入信号转换为输出信号(多个输入参数时,乘积的加和再加上偏差是输入信号)
常用的激活函数:
Sigmoid
ReLU(整流线性单位):处理隐藏层,x>0时,y=x; x<0时,y=0
Softmax:用于输出层,分类问题
(5)神经网络:目标是找到一个未知函数的近似值
(6)输入/输出/隐藏层:输入、输出层可见
(7)MLP(多层感知器):完全连接的网络,即每层中所有神经元都连接到下一层的所有神经元
(8)正向传播(forward propagation):输入通过隐藏层到输出层的运动,信息沿着单一方向前进
(9)成本函数(cost function):衡量网络的准确性,最优化的输出是成本/损失函数值最小的输出
若为均方误差,则c=1/m ∑(y-a)^2
(10)梯度下降(gradient descent):一种最小化成本的优化算法,最终得到函数的局部最小值
(11)学习率(learning rate):每次迭代中成本函数中最小化的量
(12)反向传播(backpropagation):误差随着梯度从外层通过隐藏层流回,并根据各层误差更新权重
(13)批次(batches):将输入分成几个随机大小相等的块,与整个数据集一次性送到网络建立的模型相比,更加广义化
(14)周期(Epochs):向前和向后传播中所有批次的单次训练迭代
(15)丢弃(Dropout):一种正则化技术,在训练期间,隐藏层中一定数量的神经元被随机地丢弃,意味着训练发生在神经网络的不同组合的几个构架上。可以将多个网络的输出用于产生最终结果。
(16)
批量归一化(batch normalization):将数据发送到下一层之前明确规范化数据