分类算法---logistic回归、softmax回归、KNN、决策树

目录

1、logistic回归

2、softmax回归

3、KNN

 4、决策树

5、随机森林

---

---

1、logistic回归

本质：二分类算法，计算的是样本x属于某一个类别的概率为p，样本属于另一个类别的概率为1-p.

最终认为样本x属于概率较大的那一个类别。

2、softmax回归

softmax是一个多分类算法。需要计算样本属于某一个类别的概率。最终认为：样本属于概率最大的那一个类别。

softmax会为每一个类别训练一个参数theta向量，所以在softmax需要求解的参数是由k个向量组成的theta矩阵

3、KNN

 

 数据量在1万条以内，可以直接用auto

 4、决策树

信息熵低，则表示：在样本空间中，存在一个事件出现的概率非常大；信息熵高，则表示：在样本空间中，所有事件出现的概率都相差不大。

参考链接：第五章 决策树（第2节 特征选择）

 

 

 4、信息增益率

 |Dt|-第t个叶子结点的数据集中的数据个数

|D|-原始数据集的数据个数

 id3算法的特点：

1）不支持连续变量

2）特征不能有缺省值，需要手动填补

3）已经选择的特征，不会再次选择

4）对于几分叉树没有要求

 

API默认前置剪枝，设置min_samples_split（叶子结点最小样本数）

区别：选择的度量指标不一样

注意：决策树回归的预测结果看似是连续的，实际上也是离散的值，决策树的返回值也是从所有叶子节点中样本的均值的集合选择的。

 

可视化参考链接： 决策树可视化【Matplotlib/Graphviz】 

 

5、随机森林