最大似然估计
通过贝叶斯概率公式进行展开
P(A|B)=P(B|A)*P(A)/P(B),分子上的概率无法直接得到。所以假设dataset符合某种分布(例如高斯分布)通过统计学公式计算平均值和方差,得到高斯分布得函数表达式。然后将test set中的数据带入概率函数中得到一个概率值,回代入最初的公式。
logistics regression
通过一个决策边界(decision boundary)来对数据集进行划分。决策边界是连续的,可以用来拟合条件概率p(Y=1|x),满足一系列特征的情况下是那一种东西的概率。比如满足红色、球形、酸甜可口且是苹果的概率。因为直接将特征带入决策平面中的值大于1,不符合概率的真实情况,所以使用sigmoid函数
在逻辑回归中,最大似然函数和最小损失函数等价
对损失函数进行随机梯度下降来训练模型