斯坦福《机器学习》Lesson4感想-------2、广义线性模型

原创 2015年07月07日 18:58:50


在前面几篇中分类问题和回归问题里涉及到的伯努利分布和高斯分布都是广义线性模型(Generative Linear Models.GLMs)的特例。下面将详细介绍广义线性模型。

 

1、指数族

我们可以将一些分布总结到一个指数族中。指数族可表示为:


η是指naturalparameter/canonical parameter,T (y)是指sufficientstatistic, a(η)是指logpartition function。T、a和b的选择决定了分布族,η的改变会得到这个分布族里的不同分布函数。

   伯努利分布和高斯分布都是指数族分布的例子。首先伯努利分布可以如下表示:


因此可以得到以下结果:


这表明伯努利分布可以通过选择适当的T、a和b用指数族的形式表示。其次高斯分布可表示为:


同理可得以下结果:


 

2、构建广义线性模型

一般针对一个问题要用到广义线性模型,我们基本都遵循以下三个假设。

(1)y | x; θ ∼ ExponentialFamily(η).先根据数据假设y服从某一指数族分布。

(2)选择一个假设函数满足h(x) =E[y|x]。根据这个,我们可以预测x对应的y值或者进行分类。

(3),如果η是矢量,

   下面将通过最小二乘法和Logistic回归熟悉构建广义线性模型的步骤。

 

2.1 最小二乘法

最小二乘法针对的是连续型的数值。y满足高斯分布。所以根据假设(1)可得µ = η。根据假设(2)和假设(3)可得:


2.2 Logistic回归

伯努利分布是针对二元分类问题的指数族分布。y|x; θ ∼ Bernoulli(φ),从1、指数族中的分析可以知道根据假设(2)(3)可以得到以下结果:


 

3、Softmax回归

当分类问题不再是二元而是k元的时候,即y∈{1,2,…,k}。我们可以利用构建广义线性模型来解决这个分类问题。具体步骤如下。

假设y服从指数族分布,φi = p(y = i; φ)并且可知。所以。我们还定义


此外1{·}代表括弧里的条件为真式整个式子的值为1,否则为0。所以(T (y))i = 1{y = i}。从概率论的知识可知,E[(T (y))i] = P (y = i) = φi 。所以我们可以得到:


所以


所以


定义ηk =log(φk/φk) = 0,所以


所以


所以softmax函数可以如下表示:


根据假设(3),并定义θk = 0,所以可以得到Softmax回归:


根据假设(2)可知


因此可知道最大似然概率的计算为:


而接下来要确定最大似然概率,从而去确定假设函数到最终确定分类结果。可以接着前面的梯度上升或者牛顿迭代法来求取。

这就是基本的利用广义线性模型求解的过程。确定y服从的分布,然后确定T、a、b、η,然后得到假设函数的基本模型,然后利用最大似然规律或者其他方法求得最贴近的参数值,从而能够得到最贴近真实的假设函数来解决问题。

【机器学习-斯坦福】学习笔记4 ——牛顿方法;指数分布族; 广义线性模型(GLM)

牛顿方法 本次课程大纲: 1、  牛顿方法:对Logistic模型进行拟合 2、 指数分布族 3、  广义线性模型(GLM):联系Logistic回归和最小二乘模型   复习: Logi...

斯坦福大学机器学习——广义线性模型

同事提到了SPSS处理广义线性模型问题,今天就抽空对广义线性模型相关概念进行一番梳理。 1.指数分布族 指数分布族(Exponential Family)是这样一组分布:这些分布的概率密度函数可以表示...

斯坦福大学公开课机器学习课程(Andrew Ng)四牛顿方法与广义线性模型

本次课所讲主要内容: 1、  牛顿方法:对Logistic模型进行拟合 2、 指数分布族 3、  广义线性模型(GLM):联系Logistic回归和最小二乘模型 一、牛顿方法        牛...

斯坦福机器学习: 网易公开课系列笔记(四)——牛顿法、广义线性模型

牛顿法      给定一个函数图像,如何求得使f(x)=0的x?       首先初始化一个点X0,过f(X0)做函数切线,得到与X轴的交点X1,再过f(X1)做函数切线,得到与X轴的交点X2,以此...

【学习笔记】斯坦福大学公开课(机器学习) 之广义线性模型

广义线性模型(GLM)是在指数分布族基础上形成的模型,对于指数分布族中,参数η\eta都可以有其他对应函数来替代,从而得到指数分布族模型的扩展。为引入GLM来解决问题,我们做三个假设: 1.y|x;...

线性回归、logistic回归、广义线性模型——斯坦福CS229机器学习个人总结(一)

CS229第一份讲义,包括线性回归、logistic回归、广义线性模型。

斯坦福《机器学习》Lesson1-3感想-------3、线性回归二

从上一篇可知,在监督学习里最重要的就是确定假想函数h(θ),即通过使得代价函数J(θ)最小,从而确定h(θ). 上一篇通过梯度下降法求得J(θ)最小,这篇我们将使用矩阵的方法来解释。   1、普...

斯坦福《机器学习》Lesson5感想———2、朴素贝叶斯算法

朴素贝叶斯算法与上篇中写到到生成学习算法的思想是一致的。它不需要像线性回归等算法一样去拟合各种假设的可能,只需要计算各种假设的概率,然后选择概率最高的那种假设分类类别。其中还添入了一个贝叶斯假定:在给...

牛顿方法、指数分布族、广义线性模型—斯坦福ML公开课笔记4

注:公式21,22,23.求和号的下标j改为i。 转载自:http://blog.csdn.NET/xinzhangyanxiang/article/details/9207047 最...

牛顿方法、指数分布族、广义线性模型—斯坦福ML公开课笔记4

转载请注明:http://blog.csdn.net/xinzhangyanxiang/article/details/9207047 最近在看Ng的机器学习公开课,Ng的讲法循循善诱,感觉提高了不少...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:斯坦福《机器学习》Lesson4感想-------2、广义线性模型
举报原因:
原因补充:

(最多只允许输入30个字)