人工智能期末考试

1、AI四大派系：

符号主义--知识图谱

连接主义--深度学习网络

行为主义--机器人

统计主义--机器学习

2、机器学习三部曲：

             

训练集--用于学习参数，降低Loss

开发集--用于挑选超参数

测试集--用于估计泛化误差泛化误差。

for{超参数组合} on Dev set

     for{each opoch} on Traing set

           Minimize(Loss）

 

4、机器学习的定义

对于某类任务T和性能度量P，一个计算机程序被认为可以从经验E中学习是指，经过经验E改进后，它在任务T上由性能度量P衡量的性能有所提升。

任务T：Testing Set – 测试集

性能度量P：Loss Function – 损失函数

经验E：Training Set – 训练集

文献中定义Model时每一列为一条数据，在tf中相反

tf.matmul(x, W) + b

5、Bias and Variance

 

6、欠拟合和过拟合

欠拟合：模型拟合不够，在训练集上拟合情况很差。往往会出现偏差大、方差小的情况；

过拟合：模型过度拟合，在训练集上拟合情况很好，但是在测试集上拟合情况很差。往往会出现偏差小、方差大的情况。

出现欠拟合时，解决办法有：

a) 增加新特征，可以考虑加入特征组合、高次特征，来增大假设空间;
b) 尝试非线性模型，比如核SVM 、决策树、DNN等模型;
c) 如果有正则项可以减小正则项参数λ；
d) Boosting，Boosting 往往会有较小的 Bias，比如 Gradient Boosting 等。

出现过拟合时，解决办法有：

a) 交叉检验，通过交叉检验得到较优的模型参数;
b) 特征选择，减少特征数或使用较少的特征组合，对于按区间离散化的特征，增大划分的区间;
c) 正则化，常用的有 L1、L2 正则。而且 L1正则还可以自动进行特征选择;
d) 如果有正则项则可以考虑增大正则项参数 λ;
e) 增加训练数据可以有限的避免过拟合;
f) Bagging，将多个弱学习器Bagging 一下效果会好很多，比如随机森林等。

7、Cross Validation – 交叉验证

K折-交叉验证：把开发集的数据也拿来训练（2时刻选择D2作测试，则可以用1来训练），用于 数据集不是特别大时。

将数据集D划分成k个大小相似的互斥子集，每次用k-1个子集作为训练集，余下的子集做测试集，最终返回k个训练结果的平均值。交叉验证法评估结果的稳定性和保真性很大程度上取决于k的取值。

8、正则化-L1、L2范数

L1范数：向量元素绝对值之和，即：

L2范数：

9、如何加快模型的训练

Tip1:

Tip2:

Tip3:

10、梯度优化算法

Adagrad、Momentum、Adam

11、Classification

12、CNN

 12、RNN