1. 偏差与方差:
偏差: 度量了学习算法的期望预测与真实结果的偏离程度,即刻画了学习算法本身的拟合能力
方差: 同样大小训练集的变动,导致学习性能的变化,即刻画了数据扰动对模型造成的影响
2 线性模型:
线性回归模型: lasso 和ridge 分别是l1 范数和l2范数惩罚项
线性分类模型 logistics
线性判别分析 LDA : 目的,将训练样本投影到一条直线上,使相同样本的距离尽可能的近,不同样本的距离尽可能的远。
即,优化:
3 决策树模型
决策树模型是表示基于特征对实例的划分的树形结构。可以转化为if-then的集合
算法包含三部分:特征选择、树的形成和树的剪枝
典型的算法是: ID3 利用信息熵 c4.5 信息增益比 CART 采用基尼指数
4 集成学习
Bagging和Boosting的区别:
1)样本选择上:
Bagging:训练集是在原始集中有放回选取的,从原始集中选出的各轮训练集之间是独立的.
Boosting:每一轮的训练集不变,只是训练集中每个样例在分类器中的权重发生变化.而权值是根据上一轮的分类结果进行调整.
2)样例权重:
Bagging:使用均匀取样,每个样例的权重相等
Boosting:根据错误率不断