此节涉及模型较多,既有逻辑回归模型、树模型等单一模型,又有基于单一模型的集成模型,在此基础上还要了解模型的调参,可以说涉及内容众多,与前三节相比,难度可谓是跳跃性增大,对于编程基础薄弱,数学知识所剩无几的小白菜来说难度较大。在此先把几种模型学习一下吧。
逻辑回归模型:
定义:
将数据拟合到一个logit函数,从而能够完成对事件发生的概率进行预测。产生背景 是线性回归对于分类的问题没有办法准确地分割,因此逻辑回归算法诞生。
好处:
原本输出结果范围可以非常大, 通过sigmoid函数映射到(0,1),从而完成概率的估测。
求解:
求解逻辑回归参数的传统方法是梯度下降,构造为凸函数的代价函数后,每次沿着偏导方向(下降速度最快方向)迈进一小部分,直至N次迭代后到达最低点。
决策树模型
定义:
将总研究样本通过某些牲(自变量取值)分成数个相对同质的子样本。每一子样本因变量的取值高度一致,相应的变异/杂质尽量落在不同子样本间。
不同树模型差异:
差异在于对 变异/杂质的定义不同。比如 P值、方差、熵、Gini指数(基尼指数)、Deviance等作为测量指标。
树模型分类:
根据预测的 因变量类型,树结构模型可以分为分类树、回归树两大类。
常用算法:
CHAID(卡方自交互侦测决策树)—Chi-squared Automatic Interaction Detector
CRT(分类回归树)—Classification Regression Tree;
C5.0以信息熵的下降速度作为确定最佳分支变量和分割阀值的依据。面对数据遗漏和输入字段很多的问题时非常稳健。
集成模型
定义:
训练多个模型(通常称为「弱学习器」)解决相同的问题,并将它们结合起来以获得更好的结果。核心思想是通过将这些弱学习器的偏置和/或方差结合起来,从而创建一个「强学习器」(或「集成模型」),从而获得更好的性能。
实现方法:Bagging思想、Stacking、boosting
bagging,该方法通常考虑的是同质弱学习器,相互独立地并行学习这些弱学习器,并按照某种确定性的平均过程将它们组合起来。
boosting,该方法通常考虑的也是同质弱学习器。它以一种高度自适应的方法顺序地学习这些弱学习器(每个基础模型都依赖于前面的模型),并按照某种确定性的策略将它们组合起来。
stacking,该方法通常考虑的是异质弱学习器,并行地学习它们,并通过训练一个「元模型」将它们组合起来,根据不同弱模型的预测结果输出一个最终的预测结果。
参考
1.机器学习系列(1)_逻辑回归初步:https://blog.csdn.net/han_xiaoyang/article/details/49123419
2.树模型之三种常见的决策树https://blog.csdn.net/sjpljr/article/details/70169159
3. 通俗易懂–模型集成(多模型)讲解(算法+案例) https://www.cnblogs.com/mantch/p/10203143.html
3.开源内容:https://github.com/datawhalechina/team-learning-data-mining/tree/master/HeartbeatClassification