机器学习小白学习笔记---day4---（朴素贝叶斯、决策树、随机森林、梯度提升回归决策树）

机器学习小白学习笔记之scikit-learn

最近刚把西瓜书啃完，一大堆理论让脑子真的是一团浆糊，说实话看的基本只有一个概念哈哈哈，效果不高，但是让我对与机器学习真的是整体有了一个大的了解，但是并没能将每个课后作业都完成，甚至很多公式推导也没实现，太难了，让我着手于实践，古人云实践出真知，又拿起了另一本书《Introduce to Mashine Learning with python》

今天开始学习朴素贝叶斯

朴素贝叶斯

朴素贝叶斯和线性模型有点相似，它的训练速度往往更快，但是泛化性能比不上线性模型。scikit-learn中实现了三种朴素贝叶斯分类器：GaussionNB、BernoullNB、MultinomialNB。其中GaussianNB可应用于任意连续数据，BernoulliNB假定输入数据为二分类数据，MultinomialNB假定输入数据为计数数据。后两者主要用于文本数据分类

MNB和BNB都只有一个参数alpha，跟线性模型类似，也是用来控制模型复杂度，工作原理是向数据中添加alpha这么多的虚拟数据点，这些对所有的特征都去正值，类似于一种 “平滑化”。alpha越大，平滑度越强，模型的复杂度就越低。算法性能对alpha值的鲁棒性相对较好。

GNB一般用于高维也就是多特征数据，另外两种多用于文本，MNB的性能往往优于BNB特别是在包含很多非零特征的数据集。

决策树

决策树的本质其实就是“if-else”，就类似于玩的心理测试的游戏，一大堆题目测下来，得了多少分，那你就是