光学不练也没什么用,而且容易产生很大的理解偏差,知识必须在题目中获得总结和升华。
问题记录
问题框架(过后删)
具体算法模型相关
GB(Gradient Boosting)梯度提升
GBM (Gradient Boosting Machine)
GBDT(Gradient Boosting Decision Tree)
- 集成学习: GBDT、XGBoost 和 bagging、boosting
- GBDT的变后续:XGBoost和LightGBM
机器学习模型过程
- 特种工程(特征选择):Wrapper Methods、Embedded Methods
问题
- 逻辑回归与线性回归是什么关系?
逻辑回归(Logistic Regression)与线性回归(Linear Regression)都是一种(特殊的)广义线性模型(generalized linear model)。逻辑回归假设因变量 y 服从伯努利分布,而线性回归假设因变量 y 服从高斯分布。 因此与线性回归有很多相同之处,去除Sigmoid映射函数的话,逻辑回归算法就是一个线性回归。可以说,逻辑回归是以线性回归为理论支持的,但是逻辑回归通过Sigmoid函数引入了非线性因素,因此可以轻松处理0/1分类问题。
注:广义线性模型,简称GLM。 该模型允许因变量的偏差分布有除了正态分布之外的其它分布。
- 支持向量机的特别之处?
在以概率论为核心的机器学习中,支持向量机(SVM)是一种较为特殊的方法。
最大的差异在于,SVM其成立的基础并非做出极大似然估计,而是寻求一个分界线(本文使用“分界线”这一术语代指SVM Decision Boundary Hyper-plane)对数据集实现“最大分割间隔”。
-
LR和SVM的联系与区别 ?
注意一个点:生成模型和判别模型的区别
牛客网框架
参考: