把握机器学习算法关键点有两个
1、loss function的理解(包括:特征X/标签Y配对的建模,X/Y配对建模的loss function的设计)。
2、loss function的求解过程。这两点串接在一起构成了算法实现的主框架。
——
superzzx0920
尝试用一句话说出本质区别:线性分类模型和非线性回归模型的区别,类似草食性小鸟和肉食性恐龙的区别。
从机器学习三要素的角度:
模型
本质上来说,他们都是监督学习,判别模型,直接对数据的分布建模,不尝试挖据隐含变量,这些方面是大体相同的。
但是又因为一个是线性模型,一个是非线性模型,因此其具体模型的结构导致了VC维的不同:
其中,Logistic Regression作为线性分类器,它的VC维是d+1,而XGBoost作为boosting模型,可以无限分裂,具有无限逼近样本VC维的特点,因此其VC维远远大于d+1,这都是由于其线性分类器的特征决定的,归结起来,是Logistic Regression对数据线性可分的假设导致的