a2心脏信号分类-task04建模与调参-202103

此节涉及模型较多，既有逻辑回归模型、树模型等单一模型，又有基于单一模型的集成模型，在此基础上还要了解模型的调参，可以说涉及内容众多，与前三节相比，难度可谓是跳跃性增大，对于编程基础薄弱，数学知识所剩无几的小白菜来说难度较大。在此先把几种模型学习一下吧。
逻辑回归模型：
定义：
将数据拟合到一个logit函数，从而能够完成对事件发生的概率进行预测。产生背景 是线性回归对于分类的问题没有办法准确地分割，因此逻辑回归算法诞生。
好处：
原本输出结果范围可以非常大， 通过sigmoid函数映射到(0,1)，从而完成概率的估测。
求解：
求解逻辑回归参数的传统方法是梯度下降，构造为凸函数的代价函数后，每次沿着偏导方向(下降速度最快方向)迈进一小部分，直至N次迭代后到达最低点。

决策树模型
定义：
将总研究样本通过某些牲（自变量取值）分成数个相对同质的子样本。每一子样本因变量的取值高度一致，相应的变异/杂质尽量落在不同子样本间。
不同树模型差异：
差异在于对 变异/杂质的定义不同。比如 P值、方差、熵、Gini指数（基尼指数）、Deviance等作为测量指标。
树模型分类：
根据预测的 因变量类型，树结构模型可以分为分类树、回归树两大类。
常用算法：
CHAID（卡方自交互侦测决策树）—Chi-squared Automatic Interaction Detector
CRT（分类回归树）—Classification Regression Tree；
C5.0以信息熵的下降速度作为确定最佳分支变量和分割阀值的依据。面对数据遗漏和输入字段很多的问题时非常稳健。

集成模型

定义：
训练多个模型（通常称为「弱学习器」）解决相同的问题，并将它们结合起来以获得更好的结果。核心思想是通过将这些弱学习器的偏置和/或方差结合起来，从而创建一个「强学习器」（或「集成模型」），从而获得更好的性能。
实现方法：Bagging思想、Stacking、boosting
bagging，该方法通常考虑的是同质弱学习器，相互独立地并行学习这些弱学习器，并按照某种确定性的平均过程将它们组合起来。
boosting，该方法通常考虑的也是同质弱学习器。它以一种高度自适应的方法顺序地学习这些弱学习器（每个基础模型都依赖于前面的模型），并按照某种确定性的策略将它们组合起来。
stacking，该方法通常考虑的是异质弱学习器，并行地学习它们，并通过训练一个「元模型」将它们组合起来，根据不同弱模型的预测结果输出一个最终的预测结果。

参考
1.机器学习系列(1)_逻辑回归初步：https://blog.csdn.net/han_xiaoyang/article/details/49123419
2.树模型之三种常见的决策树https://blog.csdn.net/sjpljr/article/details/70169159
3. 通俗易懂–模型集成(多模型)讲解(算法+案例) https://www.cnblogs.com/mantch/p/10203143.html
3.开源内容：https://github.com/datawhalechina/team-learning-data-mining/tree/master/HeartbeatClassification