机器学习-笔试知识点总结

1. 偏差与方差：

 

偏差： 度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力

 

方差： 同样大小训练集的变动，导致学习性能的变化，即刻画了数据扰动对模型造成的影响

 

 

 

2 线性模型：

线性回归模型： lasso 和ridge 分别是l1 范数和l2范数惩罚项

线性分类模型 logistics

线性判别分析  LDA : 目的，将训练样本投影到一条直线上，使相同样本的距离尽可能的近，不同样本的距离尽可能的远。

即，优化：

    

 

 

3 决策树模型

 

决策树模型是表示基于特征对实例的划分的树形结构。可以转化为if-then的集合

算法包含三部分：特征选择、树的形成和树的剪枝

典型的算法是： ID3 利用信息熵   c4.5 信息增益比    CART 采用基尼指数

 

4 集成学习

 

Bagging和Boosting的区别：

1）样本选择上：

Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的.

Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化.而权值是根据上一轮的分类结果进行调整.

2）样例权重：

Bagging：使用均匀取样，每个样例的权重相等

Boosting：根据错误率不断