神经网络常见名词

人工智能    Artificial Intelligence

构造复杂的、拥有与人类智慧同样本质特性的机器，使机器具有人的智能。

机器学习    Machine Learning

一种实现人工智能的方法。解决人工智能问题的手段。

如果一个程序可以在任务T上，随着经验E的增加，效果P也可以随之增加，则称这个程序可以从经验中学习。

深度学习    Deep Learning

一种实现机器学习的技术（机器学习的一个分支）。主要是指使用深层神经网络。

---

supervised learning     监督学习

regression    回归问题：预测连续数值输出；

classification    分类问题：预测离散数值输出；（如预测是或者不是，用0与1）

unsupervised learning    无监督学习

clustering    聚类算法

---

gradient descent    梯度下降

一种用于求最小loss的算法，反向求导更新参数使loss减小，得到的为局部最小值，并非全局最小loss。

vanishing/exploding gradients    梯度消失/梯度爆炸

求出的梯度以指数形式减小/增加

gradient checking  梯度检验

Relu函数：修正线性单元

带泄露的Relu激活函数

bias 偏差；variance 方差；

二者可用于判断过拟合（overfitting）还是欠拟合（underfitting），高偏差则欠拟合，高方差则过拟合。

可用于减少过拟合的方法：

正则化（regularization）。

如L1或者L2；丢弃（dropout）；early stopping；数据增强（data augmentation）

---

对输入数据进行归一化（Normalizing）处理，可以加快损失的优化；

一些常见的梯度下降优化算法：

Mini-batch梯度下降；即增加了batch-size

指数加权平均：exponentially weighted averages

动量梯度下降法：gradient descent with momentum

RMSprop:root mean square prop   均方根

Adam算法（Adaptive Moment Estimation）：基本是将Momentum和RMSprop结合在一起

学习率衰减：learning rate decay

---

迁移学习：trasnsfer learning

分两种吧一般：

预训练pre-training：训练所有参数权重

微调fine tuning：只训练最后几层

---

神经网络常见名词