逻辑回归 Logistic regression
什么是逻辑回归?
逻辑回归是一种广义线性回归,本质上与多元线性回归相差无几。相当于将回归的结果带入 sigmoid 函数进行缩放,使得最终结果为二分类。
什么是信息熵?
1948年,香农提出了“信息熵”的概念,是指信息的量化度量。即信源的概率越大,该信源携带的信息量越小;信源概率越小,该信源携带的信息越大。信息熵是信源信息量的期望。这个期望代表了一个系统的不确定性,信息熵越大,不确定性越大。
从公式中可得熵和概率的关系图
损失函数?交叉熵?
H
(
p
,
q
)
=
−
l
o
g
(
p
)
∗
q
H(p,q)=−log(p)*q
H(p,q)=−log(p)∗q
交叉熵可在神经网络(机器学习)中作为损失函数,p表示真实标记的分布,q则为训练后的模型的预测标记分布,交叉熵损失函数可以衡量p与q的相似性。p也可理解为真实概率,q为预测概率,损失函数即为两者所得的最小交叉熵。
Sigmoid 函数
Y
(
x
)
=
1
1
+
e
−
x
Y(x)=\frac {1}{1+e^{-x}}
Y(x)=1+e−x1
通过 sigmoid 函数的转化,可将样本分为 >=0.5 和 <0.5 两类,从而达到二分类的效果。
根据分类可写出代价函数
将上述的y取1和0合并为一个函数
对代价函数求偏导
对偏导数进行迭代,训练出分类模型。
用逻辑回归做二元分类和多元分类的联系
逻辑回归做多元分类的本质,是将多元拆成多个二元分类。