1.径向基函数:Radial Basis Function
2.前馈神经网络:Feedforward Neural Network,FNN
3.感知机: Perceptron
4.误差反向传播:Back Propagation
5.误差:Error
6.损失函数:Loss Function(常见的损失函数:平方损失(Square Loss)函数,log对数损失函数,指数损失函数以及交叉熵(Cross-entropy)损失函数等)
7.过拟合:Overfitting
8.正则化:Regularization(减小泛化误差而非训练误差)常见的方法有:随机失活(Dropout)和数据集扩充等
9.评估:Evaluation
10.为了能让网络参数又快又好的接近最优,让网络训练快速收敛,各种形式的学习方法被用来实现参数的最优化,例如:批量梯度下降(Batch Gradient Descent,BGD),随机梯度下降(Stochastic Gradient Descent,SGD)和小批量随机梯度下降(Mini-batch Stochastic Gradient Descent,MGD)