2019/9/16，机器学习（周志华）第三、四章及学习笔记

线性判别分析：LDA也称Fisher判别分析，主要思想是两点同类相近、异类远离，适用于二分类，也可用于多分类，具体公式按书上推导可得。
多分类问题：将复杂问题拆分为多个二分类任务，即多个分类器
经典分法：OvO,OvR,MvM(一对一，一对其余，多对多），将类别划分为正反类
MvM常用技术为纠错输出码（ROOC）:第一步编码，将N个类别做M次划分产生M个训练集（正类和反类），第二步解码，即用测试用例与之对照，返回距离小者为输出。
距离类别：欧氏距离：sqrt【（x1-x2）^2+…】，海明距离待测码与分类器进行对照不同位个数。

类别不平衡问题：正反类比例不当，可进行下采样和上采样，下采样（欠采样）去除一些反例，上采样（过采样）增加一些正例。

决策树

决策树这一章较为轻松，即对于新示例进行分类，对于不同的属性逐级往下分类

*
划分选择：信息熵（information entropy）即当前样本集合D中某类样本所占比例
信息增益（information gain）某种属性a在样本集合D中的影响比例
Ent(D)与纯度成反比，Gain(D,a)与纯度成正比。按公式可计算得出gain最大的作为划分属性，并对划分结点进一步划分，得到决策树
· 增益率（gain ratio）用以去除占比较多类别影响，用gain/属性比例。
基尼指数（Gini index）GART决策树中使用到（用于分类和回归任务）也与纯度成反比https://www.cnblogs.com/wsine/p/5180321.html这篇博客有以上各类指数的Python实现。

剪枝处理：防止过拟合
预剪枝：自顶向下，若划分后验证集精度上升，则划分，否则剪枝或属同一类不划分，有欠拟合风险。
后剪枝:自底向上，合并之后计算精度上升剪枝，否则保留。

连续值进行处理需要找划分点，连续属性较之前的离散属性可连续划分
缺失值处理要注意正反分类和属性分类
多变量处理尝试找到一个合理的线性分类器，由多属性决定。