本文介绍了逻辑回归的基础知识，包括二分类、多分类原理，并详细阐述了Sigmod激活函数的作用和逻辑回归的求解过程。此外，还探讨了代价函数、似然函数以及梯度下降在逻辑回归中的应用，同时提及了正则化的概念。
版权声明：如果对大家有帮助，大家可以自行转载的。原文链接：
二分类
将一类数据定义为类别1，其余数据为类型2，只需要分类一次。
多分类
先定义其中一类为类型1（正类），其余数据为负类（rest）；接下来去掉类型1数据，剩余部分再次进行二分类，分成类型2和负类；如果有n类，那就需要分类n-1次。
Sigmod激活函数
g ( z ) g(z) g(z) 代表一个常用的逻辑函数（logistic function）为 S S S形函数（Sigmoid function），公式为：
合起来，我们得到逻辑回归模型的假设函数：
Sigmod图像
当 g ( z ) g(z) g(z)大于等于0.5时，预测y=1;
当 g ( z ) g(z) g(z)小于0.5时，预测y=0。
线性回归的函数 h ( x ) = z = w T x , h(x)=z=w^Tx, h(x)=z=wTx,范围是实数集。
而分类预测结果需要得到[0,1]的概率值；
在二分类模型中，时间的几率odds:事件发生与事件不发生的概率之比为 p / 1 − p p/1-p p/1−p，称为事件的发生比；
取对数得到： l o g ( p / 1 − p ) log(p/1-p) log(p/1−p)，而 l o g ( p / 1 − p ) = w T x = z log(p/1-p)=w^Tx=z log(p/1−p)=wTx=z
求解得到： p = 1 / ( 1 + e − w T x ) = 1 / ( q + e ( − z ) ) p=1/(1+e^-w^Tx)=1/(q+e^(-z)) p=1/(1+e−wTx
最低0.47元/天 解锁文章
扫一扫
1586
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
