decision tree

无序的矩阵用树表示出来

和前面贝叶斯那个差不多，考虑要有多少个标签（行），下面又是枚举法，数据太大了，而且数据误差会很大

通过图形形状、颜色来建立分类器：

新的图形（灰色三角）没法判断：

1. 可以判断最有可能分在哪一类
2. 可以先按形状建立

怎么选节点？不同节点对应不同树？

ps：连续情况下

怎么选节点？不同节点对应不同树？

怎么判断？损失函数？损失函数怎么选？ 

（中间没听，后面听录音吧）

损失函数的熵

缺失值补充

并不是很好，因为分割次数比较多，prefer左边的情况多一点

4个或接近4个时已经是testing Min，所以生成树时到某种情况就停止。——model selection

怎么停呢？最简单的：100个里90+10-，就用90+的去做叶子，10-丢掉 

手动调参

自动调参：

1. CV （比较简单）

2. 加惩罚项（比较麻烦）（节点个数作为惩罚项/...）

惩罚项的种类：

ps：BIC后面加的惩罚系数不是唯一的，换了也可能达到一致（常规来说时logn，其实logn平方、logn*loglogn也可以

随机森林

把n棵树组合来判断：比如3棵树，然后2棵判断生病，1棵判断没病，最后就判断没病了