斯坦福公开课Machine Learning笔记(三)--Generalized Linear Models

原创 2016年08月31日 00:12:51

斯坦福公开课Machine Learning笔记(三)–Generalized Linear Models

这系列笔记其实已经手写好, 现在一次性发上来, 主要是怕丢. 内容以Andrew Ng的讲义为主,主要以公式推导与理解为主,引入和介绍省略.对于最后的Reinforcement Learning部分, 由于没有讲义以及对其实在不熟悉, 就没有笔记了(主要还是因为没有讲义).

之前的线性回归和LR其实都可以推广到广义线性模型上。

1. The exponential family

Ng 给出了一个指数分布簇的定义:

P(y;η)=b(y)exp(ηTT(y)a(η))

其中η 为自然参数。T(y) 是sufficient statistic,一般为T(y)=y.a(η) 为log partition函数。这样,由T,a,b 可以确定分布,而η 可以改变T,a,b
以伯努利分布为例:
P(y=1;ϕ)=ϕ

P(y=0;ϕ)=1ϕ


P(y;ϕ)=ϕy(1ϕ)1y=exp(ylogϕ+(1y)log(1ϕ))=exp(log(1ϕ)+ylogϕ1ϕ)

η=logϕ1ϕ,ϕ=11+eη (与sigmoid函数相似)

T(y)=y

a(η)=log(1ϕ)=log(1+eη)

b(y)=1

伯努利分布可以写成GLM的形式,是其中一员.

再以高斯分布为例:
在推导线性回归是,σθ,这里设σ2=1

P(y;μ)=12πexp(12(yμ)2)=12πexp(12y2)exp(μy12μ2)

η=μ

T(y)=y

a(η)=12μ2=12η2

b(y)=exp(12y2)12π

2.Constructing GLMs

要使用GLMs来解决分类和回归问题,要满足以下三个假设:
1. y|x;θ ~ ExponentialFamily(η)
2. 满足hθ(x)=E[y|x]
3. η=θTx (满足线性关系)

2.1 Ordinary least squares

这里还是以高斯分布为例(其实线性回归就是服从高斯分布):
根据之前可得:

hθ(x)=E[y|x;θ]=ϕ=η=θTx

2.2 Logistic regression

当遇到多分类问题时: y{1,2,...,k}
为了让多项分布属于指数分布簇, 定义:
T(1)=100,T(2)=010,...,T(k1)=001,T(k)=000,T(y)Rk1
Ng先定义:

1{True}=1,1{False}=0

E[(T(y))i]=P(y=i)=ϕi

P(y;ϕ)=ϕ1{y=1}1ϕ1{y=2}2...ϕ1{y=k}k=ϕ1{y=1}1ϕ1{y=2}2...ϕ1k1i=11{y=i}k=ϕ(T(y)11ϕ(T(y))22...ϕ1k1i=1(T(y))ik=exp((T(y))1logϕ1+(T(y))2logϕ2+...+(1i=1k1(T(y))i)logϕk)=exp((T(y))1logϕ1ϕk+(T(y))2logϕ2ϕk+...+(T(y))k1logϕk1ϕk+logϕk)=b(y)exp(ηTT(y)a(η))

η=logϕ1ϕklogϕ2ϕklogϕk1ϕk
a(η)=logϕk

b(y)=1

ηi=logϕiϕk

定义:ηk=logϕkϕk=0

eηi=ϕiϕk

ϕkeηi=ϕi(*)

ϕkki=1eηi=ki=1ϕi=1

ϕk=1ki=1eηi

代回(*)

ϕi=eηikj=1eηj

θk=0,ηk=θTkx=0

P(y=i|x;θ)=ϕi=eηikj=1eηj=eθTixkj=1eθTjx

hθ(x)=E[T(y)|x;θ]=E1{y=1}1{y=2}1{y=k1}x;θ=ϕ1ϕ2ϕk1=eη1kj=1eηjeη2kj=1eηjeηk1kj=1eηj

其中hθ 只能输出k-1种概率,第k种概率可用(1k1i=1ϕi)计算.

相关文章推荐

斯坦福公开课Machine Learning笔记(一)--Linear Regression

斯坦福公开课Machine Learning笔记(一)–Linear Regression 线性回归,梯度下降以及概率解释...

《机器学习》(Machine Learning)——Andrew Ng 斯坦福大学公开课学习笔记(三)

第5集 生成学习算法 (一)生成学习模型: 例如:恶性和良性癌症的问题,分别对样本中恶性癌症和良性癌症的特征分别建模,当有新的样本需要判定时,看它是和哪个模型更像,进而预测该样本是良性还是恶性 ...

斯坦福公开课Machine Learning笔记(二)--Classification and Logistic Regression

斯坦福公开课Machine Learning笔记(二)–Classification and Logistic Regression Logistic Regression...

《机器学习》(Machine Learning)——Andrew Ng 斯坦福大学公开课学习笔记(一)

看到蘑菇街招聘的一个加分项是学过Andrew Ng的机器学习课程,于是找来看了下目录,大多数内容之前在PRML中有接触过,研究生课程智能信息处理中也有接触,但觉得不够系统,于是按斯坦福的公开课课表过一...

斯坦福公开课Machine Learning笔记(九)--The K-means Clustering Algorithm

斯坦福公开课Machine Learning笔记(九)–The K-means Clustering Algorithm k-means聚类

斯坦福公开课Machine Learning笔记(十二)--PCA

斯坦福公开课Machine Learning笔记(十二)–PCA PCA降维和SVD

斯坦福公开课Machine Learning笔记(十一)--Factor Analysis

斯坦福公开课Machine Learning笔记(十一)–Factor Analysis factor analysis 因子分析

Coursera公开课笔记: 斯坦福大学机器学习第十一课“机器学习系统设计(Machine learning system design)”

斯坦福大学机器学习斯坦福大学机器学习第十一课“机器学习系统设计(Machine learning system design)””学习笔记,本次课程主要包括5部分: 1) Prioritizin...

斯坦福公开课Machine Learning笔记(四)--Generative Learning Algorithm

斯坦福公开课Machine Learning笔记(四)–Generative Learning Algorithm 这系列笔记其实已经手写好, 现在一次性发上来, 主要是怕丢. 内容以Andrew...

斯坦福公开课Machine Learning笔记(六)--Learning Theory

斯坦福公开课Machine Learning笔记(六)–Learning Theory Learning theory 学习理论
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:斯坦福公开课Machine Learning笔记(三)--Generalized Linear Models
举报原因:
原因补充:

(最多只允许输入30个字)