本文详细介绍了逻辑回归的基本概念，包括Sigmoid函数、预测函数、最大似然估计和梯度下降法。通过推导展示了如何利用梯度下降优化参数θ，以实现二分类任务。
逻辑回归是经典的二分类算法
1. 基础公式(Sigmoid函数)
g ( z ) = 1 1 + e − z g\left ( z \right ) = \frac{1}{1+e^{-z}} g(z)=1+e−z1
2. 预测函数
h θ ( x ) = g ( θ T x ) = 1 1 + e − θ T x h_{\theta }\left ( x \right )=g\left ( \theta ^{T}x \right )=\frac{1}{1+e^{-\theta ^{T}x}} hθ(x)=g(θTx)=1+e−θTx1
θ 0 + θ 1 x 1 + θ 2 x 2 + ⋯ + θ n x n = ∑ i = 1 m θ i x i = θ T x \theta _{0}+\theta _{1}x_{1}+\theta _{2}x_{2}+\cdots +\theta _{n}x_{n}=\sum_{i=1}^{m}\theta _{i}x_{i}=\theta ^{T}x θ0+θ1x1+θ2x2+⋯+θnxn=i=1∑mθixi=θTx
二分类的概率公式为：
{ P ( y = 1 ∣ x ; θ ) = h θ ( x ) P ( y = 0 ∣ x ; θ ) = 1 − h θ ( x ) \left\{\begin{matrix}P\left ( y=1|x;\theta \right )=h_{\theta }\left ( x \right )\\ P\left ( y=0|x;\theta \right )=1-h_{\theta }\left ( x \right )\end{matrix}\right. {
P(y=1∣x;θ)=hθ(x)P(y=0∣x;θ)=1−hθ(x)
合并以后为： P ( y ∣ x ; θ ) = ( h θ ( x ) ) y ( 1 − h θ ( x ) ) ( 1 − y ) P\left ( y|x;\theta \right )=\left ( h_{\theta }\left ( x \right ) \right )^{y}\left ( 1-h_{\theta }\left ( x \right ) \right )^{\left ( 1-y \right )} P(y∣x;θ)=(hθ(x))y(1−hθ(x))(1−y)
3. 最大似然估计
L ( θ ) = ∏ i = 1 m P ( y i ∣ x i ; θ ) = ∏ i
最低0.47元/天 解锁文章
扫一扫
7505
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
