逻辑回归 笔记

什么是逻辑回归？

逻辑回归是一种广义线性回归，本质上与多元线性回归相差无几。相当于将回归的结果带入 sigmoid 函数进行缩放，使得最终结果为二分类。

什么是信息熵？

1948年，香农提出了“信息熵”的概念，是指信息的量化度量。即信源的概率越大，该信源携带的信息量越小；信源概率越小，该信源携带的信息越大。信息熵是信源信息量的期望。这个期望代表了一个系统的不确定性，信息熵越大，不确定性越大。

从公式中可得熵和概率的关系图

损失函数？交叉熵？

$H(p,q)=-log(p)\ast q$
交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量p与q的相似性。p也可理解为真实概率，q为预测概率，损失函数即为两者所得的最小交叉熵。

Sigmoid 函数

$Y(x)=\frac{1}{1+e^{-x}}$

通过 sigmoid 函数的转化，可将样本分为 >=0.5 和 <0.5 两类，从而达到二分类的效果。

根据分类可写出代价函数

将上述的y取1和0合并为一个函数

对代价函数求偏导

对偏导数进行迭代，训练出分类模型。

用逻辑回归做二元分类和多元分类的联系

逻辑回归做多元分类的本质，是将多元拆成多个二元分类。