本文详述逻辑回归中的sigmoid函数，解释其在概率输出中的作用，并介绍Logistic分布。通过数学推导，讲解如何将线性函数转化为概率模型，以及如何使用极大似然估计法估计模型参数。涉及梯度上升法和链式求导的应用。
逻辑回归的知识，其中主要是数学推导过程，参考CS229,提供给数学要求比较高的人，而且内容详细，适合小白，像我这样的，数学绝缘体。
1.sigmoid函数
在分类过程中，我们使用了感知机，将样本分成了两类，使用的分类函数是sign,但是sign函数只能讲数据粗暴的分为+1和-1，其实是不太符合事实的，所以采用sigmoid函数，这个函数是平滑的，任何一个地方导数都不会为零，也不会产生突变，而且将所有的数据都映射在[0,1]范围之内，适合做概率输出。
2.Logistic分布
为位置参数，γ>0为形状参数
。式子6-1是logistic分布函数，式子6-2是logistic密度函数，也就是导数函数。
3.logistic回归模型
一个数发生的概率为p,则几率（odds）是发生概率与不发生的概率之比，也就是
，如果加上对数，那就是对数几率，
对于logistic回归模型就是
最低0.47元/天 解锁文章
扫一扫
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
