LR为什么用sigmoid

转https://blog.csdn.net/a1628864705/article/details/62233395

 一是： sigmod 本身的性质。 二是：之所以LR 用sigmod，不是因为LR 选择了 sigmod ，而是用 指数簇分布和 最大熵原理 推导出来的形式，就是这个样子，后来起名叫sigmod

sigmoid 函数

上图为sigmoid函数的形式 
选择sigmoid 的原因想从两方面来说： 
1、 Sigmoid 函数自身的性质

sigmoid 函数连续，单调递增
sigmiod 函数关于（0，0.5） 中心对称
对sigmoid函数求导 
p=ex1+ex
p=ex1+ex

p′=p∗(1−p)
p′=p∗(1−p)

计算sigmoid函数的导数非常的快速
2、指数族 
逻辑回归的损失函数非指数族，形势为： 
p(y;η)=b(y)exp(ηTT(y)−α(η))
p(y;η)=b(y)exp(ηTT(y)−α(η))
逻辑回归认为函数其概率服从伯努利分布，将其写成指数族分布的形式，也就是： 

T(y)=y
T(y)=y

α(η)=−log(1−ϕ)
α(η)=−log(1−ϕ)

b(y)=1
b(y)=1
能够推导出sigmoid函数的形式。 
η=log(ϕ1−ϕ)
η=log(ϕ1−ϕ)

ϕ=eη1+eη
ϕ=eη1+eη

也就推出了sigmid函数的形式
程序员转型首选的编程语言是什么？ 
好学、好用、高薪的Python学习路线免费领取！
 

 
qq_34027917： 其实作者的意思有两个： 一是： sigmod 本身的性质。 二是：之所以LR 用sigmod，不是因为LR 选择了 sigmod ，而是用 指数簇分布和 最大熵原理 推导出来的形式，就是这个样子，后来起名叫sigmod
--------------------- 
作者：夜晓楼 
来源：CSDN 
原文：https://blog.csdn.net/a1628864705/article/details/62233395 
版权声明：本文为博主原创文章，转载请附上博文链接！