python实现广义线性模型_「原理」机器学习算法入门—广义线性模型(线性回归，逻辑回归)...

​Python实现(ScikitLearn_0.19.0)

中文代码笔记传送门：

www.wjml.tech/Study/Linear_model.html

逻辑回归和线性回归都是广义线性模型中的一种，接下来我们来解释为什么是这样的？

1、指数族分布

指数族分布和指数分布是不一样的，在概率统计中很对分布都可以用指数族分布来表示，比如高斯分布、伯努利分布、多项式分布、泊松分布等。指数族分布的表达式如下

其中η是natural parameter，T(y)是充分统计量，exp−a(η)是起到归一化作用。 确定了T、a、b， 我们就可以确定某个参数为η的指数族分布。

统计学中很多熟悉的概率分布都是指数族分布的特定形式。下面我们介绍其中的伯努利分布和高斯分布，从而推导出逻辑回归和线性回归的表达式

1)伯努利分布

我们将伯努利分布的式子按照指数族分布的形式表示出来

把伯努利分布写成指数族分布的形式，将指数族分布中的每一项都拆分出来，则有

我们根据上述式子可以得出Φ的表达式，式子的形式就是Sigmoid函数的形式

2)高斯分布

将高斯分布用指数族的形式表示

在这里我们假设了方差为1，简化式子，便于我们的推导。将指数族分