深度学习理论——判别式模型/生成式模型 && GBDT

大家好，继续理论学习，最近开始找工作了，非常忙，只能找零碎时间学习，记录也慢了一点。

1.生成式模型&&判别式模型

判别式模型（Discriminative Model）是直接对条件概率p(y|x;θ)建模。常见的判别式模型有 线性回归模型、线性判别分析、支持向量机SVM、神经网络等。

生成式模型（Generative Model）则会对x和y的联合分布p(x,y)建模，然后通过贝叶斯公式来求得p(yi|x)，然后选取使得p(yi|x)最大的yi。常见的生成式模型有 隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM、LDA等。

 

2.GBDT 

GBDT全称梯度提升决策树（Gradient Boosting Decision Tree，GBDT）。既可用于分类也可用于回归。其本质是使用CART树作为弱学习器的boosting算法。

Fm−1(x)为当前的模型，gbdt 通过经验风险极小化来确定下一个弱分类器的参数。具体到损失函数本身的选择也就是L的选择，有平方损失函数，0-1损失函数，对数损失函数等等。如果我们选择平方损失函数，那么这个差值其实就是我们平常所说的残差。对损失函数的梯度使用梯度下降法。

具体的可以参考这位大佬的文章：

大佬的文章

我们下期见！