浅谈广义线性回归

24 篇文章 1 订阅
13 篇文章 0 订阅

首先,广义线性模型是基于指数分布族的,而指数分布族的原型如下

   

   其中为自然参数,它可能是一个向量,而叫做充分统计量,也可能是一个向量,通常来说

   实际上线性最小二乘回归和Logistic回归都是广义线性模型的一个特例。当随机变量服从高斯分布,那么

   得到的是线性最小二乘回归,当随机变量服从伯努利分布,则得到的是Logistic回归。

   那么如何根据指数分布族来构建广义线性模型呢? 首先以如下三个假设为基础

   (1)给定特征属性和参数后,的条件概率服从指数分布族,即

   (2)预测的期望,即计算

   (3)之间是线性的,即

   在讲解利用广义线性模型推导最小二乘和Logistic回归之前,先来认识一些常见的分布,这是后面的基础。

   (1)高斯分布

      关于高斯分布的内容我就不再多讲了,如果把它看成指数分布族,那么有

      

         对比一下指数分布族,可以发现

      

      所以高斯分布实际上也是属于指数分布族,线性最小二乘就是基于高斯分布的。

  (2)伯努利分布

      伯努利分布又叫做两点分布或者0-1分布,是一个离散型概率分布,若伯努利实验成功,则伯努利随机变量取值为1,如果失败,则伯努利随机变量取值为0。并记成功的概率为,那么失败的概率就是

      所以得到其概率密度函数为

                          

         如果把伯努利分布写成指数分布族,形式如下

       

      对比指数分布族,有

      

      Logistic回归就是基于伯努利分布的,之前的Sigmoid函数,现在我们就可以知道它是如何来的了。如下

      

      如果

      

      那么叫做正则响应函数,而叫做正则关联函数

  (3)泊松分布

      泊松分布是一种离散型概率分布,其随机变量只能取非负整数值0,1,2,... 且其概率密度函数为

      

      其中参数是泊松分布的均值,也是泊松分布的方差,表示单位时间内随机事件的平均发生率。在实际

      的实例中,近似服从泊松分布的事件有:收银员某段时间接受的顾客数,或者某段时间火车站排队的人数,以及客服接到的投诉数等计数问题。

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值