机器学习建模

1.机器学习模型概述

1.1 模型与算法

模型：一类问题的解题步骤，即一类问题的算法。
算法：能够解决特定问题的无歧义、机械、有效的运算流程和规则。

1.2 机器学习中的三要素

模型、策略与算法
模型：回归模型、分类模型
算法：有了模型和策略之后的优化算法：梯度下降法、牛顿法

1.3 机器学习模型

传统机器学习模型（单模型）
集成(ensemble)与提升（boosting）模型
神经网络与深度学习

2.传统机器学习模型（单模型）

2.1 按任务类型划分

2.1.1 分类

逻辑回归
决策树
朴素贝叶斯
knn
感知机与神经网络
支持向量机
…

2.1.2 回归

线性回归
lasso
ridge
…
机器学习中的五种回归模型及其优缺点:
线性回归（Linear Regression），多项式回归（Polynomial Regression）
高维度和多重共线性的情况的 Ridge回归、Lasso回归、ElasticNet回归
http://www.sohu.com/a/249214202_814235

2.2 按性质划分

2.2.1 非概率模型（决策函数）

回归模型
…

2.2.2 概率模型

决策树
朴素贝叶斯
…

2.3 按知识体系划分

2.3.1 线性模型

线性回归
逻辑回归
线性可分支持向量机
…

2.3.2 神经网络模型

逻辑回归
感知机
神经网络
深度学习

2.3.3支持向量机模型

感知机
svm
tsvm
…

2.3.4贝叶斯模型

朴素贝叶斯
贝叶斯网络
高斯过程
贝叶斯机器学习
…

2.3.5树模型

决策树
CART
Adaboost(集成模型)
GBDT(集成模型)
…

3.集成与提升模型（boosting）

3.1 集成学习（ensemble learning）

构建并结合多个学习器来完成学习任务。
集成学习的关键在于构建“好而不同”的基学习器。

3.2 boosting

boosting族算法：将一组弱学习器提升为强学习器的框架算法。
Adaboost
GBDT
XGBoost
lightGBM
…

3.3 bagging

随机森林

4. sklearn

官网文档：http://sklearn.apachecn.org/cn/0.19.0/
预处理
降维
分类
回归
聚类
模型评估与选择
…

5.机器学习调参

5.1机器学习模型的参数有哪些？

5.1.1 模型训练参数：

机器学习需要学习的东西，由训练得出，无需也无法调整
神经网络的权重与偏置
线性回归的变量系数
…

5.1.2模型配置参数

优化算法的学习率
训练轮数
树模型最大深度
…

5.2 机器学习模型参数调整方法

手动根据经验和尝试调整
网格搜索（Grid Search)
贝叶斯调参

6. GBDT/XGBoost/lightGBM

GBDT：梯度提升决策树，XGBoost和lightGBM也属于广义上的GBDT模型
GBDT属于加性模型，构建很多棵CART（分类回归树）并组合