C: 算法总结-----应用场景与优缺点

说明:  根据日常项目经验整理, 有些本人不常用的信息可能不是很全. 欢迎补充 

---

一.监督学习算法

	K-近邻	线性模型	朴素贝叶斯
说明	即邻居个数,一般用较小的邻居得到比较好的结果. 默认距离	1.尤其是回归模型中正则化的调节非常重要	1.
参数	K值 数据点之间的度量方法	1.alpha/C正则化参数	1.
优点	容易理解,不需要过多的调节就可以得到不错的性能 速度快	训练速度,预测速度非常快 对稀疏数据很有效,可以推广到非常大的数据集 特征数量大于样本数量,训练效果非常好	效率高,训练速度更快 适用高维稀疏数据 对参数路鲁棒性好 是很好的基准模型
缺点	不适用于特征多的数据集 不适用于稀疏数据集		01.泛华能力稍差
	不适用于高维稀疏数据	适用于高维稀疏数据	适用于高维稀疏数据

注: 朴素贝叶斯的许多优点和缺点都与线性模型相同.

 (未完成: 线性模型拆分)

	DT(决策树)	RF(随机森林)	GBDT(梯度回升回归树)
说明	控制复杂度的方法:预剪枝和后剪枝	本质上是随机的;树越多,对随机状态选择的鲁棒性就越好 设置不同随机状态可以彻底改构建的模型 参数越大越好,对更多的树取平均可以降低过拟合