人工智能 Artificial Intelligence
构造复杂的、拥有与人类智慧同样本质特性的机器,使机器具有人的智能。
机器学习 Machine Learning
一种实现人工智能的方法。解决人工智能问题的手段。
如果一个程序可以在任务T上,随着经验E的增加,效果P也可以随之增加,则称这个程序可以从经验中学习。
深度学习 Deep Learning
一种实现机器学习的技术(机器学习的一个分支)。主要是指使用深层神经网络。
supervised learning 监督学习
regression 回归问题:预测连续数值输出;
classification 分类问题:预测离散数值输出;(如预测是或者不是,用0与1)
unsupervised learning 无监督学习
clustering 聚类算法
gradient descent 梯度下降
一种用于求最小loss的算法,反向求导更新参数使loss减小,得到的为局部最小值,并非全局最小loss。
vanishing/exploding gradients 梯度消失/梯度爆炸
求出的梯度以指数形式减小/增加
gradient checking 梯度检验
Relu函数:修正线性单元
带泄露的Relu激活函数
bias 偏差;variance 方差;
二者可用于判断过拟合(overfitting)还是欠拟合(underfitting),高偏差则欠拟合,高方差则过拟合。
可用于减少过拟合的方法:
正则化(regularization)。
如L1或者L2;丢弃(dropout);early stopping;数据增强(data augmentation)
对输入数据进行归一化(Normalizing)处理,可以加快损失的优化;
一些常见的梯度下降优化算法:
Mini-batch梯度下降;即增加了batch-size
指数加权平均:exponentially weighted averages
动量梯度下降法:gradient descent with momentum
RMSprop:root mean square prop 均方根
Adam算法(Adaptive Moment Estimation):基本是将Momentum和RMSprop结合在一起
学习率衰减:learning rate decay
迁移学习:trasnsfer learning
分两种吧一般:
预训练pre-training:训练所有参数权重
微调fine tuning:只训练最后几层
神经网络常见名词