1.机器学习模型概述
1.1 模型与算法
模型:一类问题的解题步骤,即一类问题的算法。
算法:能够解决特定问题的无歧义、机械、有效的运算流程和规则。
1.2 机器学习中的三要素
模型、策略与算法
模型:回归模型、分类模型
算法:有了模型和策略之后的优化算法:梯度下降法、牛顿法
1.3 机器学习模型
传统机器学习模型(单模型)
集成(ensemble)与提升(boosting)模型
神经网络与深度学习
2.传统机器学习模型(单模型)
2.1 按任务类型划分
2.1.1 分类
逻辑回归
决策树
朴素贝叶斯
knn
感知机与神经网络
支持向量机
…
2.1.2 回归
线性回归
lasso
ridge
…
机器学习中的五种回归模型及其优缺点:
线性回归(Linear Regression),多项式回归(Polynomial Regression)
高维度和多重共线性的情况的 Ridge回归、Lasso回归、ElasticNet回归
http://www.sohu.com/a/249214202_814235
2.2 按性质划分
2.2.1 非概率模型(决策函数)
回归模型
…
2.2.2 概率模型
决策树
朴素贝叶斯
…
2.3 按知识体系划分
2.3.1 线性模型
线性回归
逻辑回归
线性可分支持向量机
…
2.3.2 神经网络模型
逻辑回归
感知机
神经网络
深度学习
2.3.3支持向量机模型
感知机
svm
tsvm
…
2.3.4贝叶斯模型
朴素贝叶斯
贝叶斯网络
高斯过程
贝叶斯机器学习
…
2.3.5树模型
决策树
CART
Adaboost(集成模型)
GBDT(集成模型)
…
3.集成与提升模型(boosting)
3.1 集成学习(ensemble learning)
构建并结合多个学习器来完成学习任务。
集成学习的关键在于构建“好而不同”的基学习器。
3.2 boosting
boosting族算法:将一组弱学习器提升为强学习器的框架算法。
Adaboost
GBDT
XGBoost
lightGBM
…
3.3 bagging
随机森林
4. sklearn
官网文档:http://sklearn.apachecn.org/cn/0.19.0/
预处理
降维
分类
回归
聚类
模型评估与选择
…
5.机器学习调参
5.1机器学习模型的参数有哪些?
5.1.1 模型训练参数:
机器学习需要学习的东西,由训练得出,无需也无法调整
神经网络的权重与偏置
线性回归的变量系数
…
5.1.2模型配置参数
优化算法的学习率
训练轮数
树模型最大深度
…
5.2 机器学习模型参数调整方法
手动根据经验和尝试调整
网格搜索(Grid Search)
贝叶斯调参
6. GBDT/XGBoost/lightGBM
GBDT:梯度提升决策树,XGBoost和lightGBM也属于广义上的GBDT模型
GBDT属于加性模型,构建很多棵CART(分类回归树)并组合