机器学习第三讲-指数分布族与广义线性模型

目录

1.指数分布族 exponential family

 2.广义线性模型Generalized Linear Models

---

1.指数分布族 exponential family

exponential family可以写成这个形式：

指数分布族的几个例子：①伯努利分布②高斯分布（sigma为1）③高斯分布④泊松分布

①Bernoulli Distribution

②Gaussian Distribution（sigma=1）

③Gaussian Distribution

④Poisson distribution: Poisson(λ)

 2.广义线性模型Generalized Linear Models

引入：在回归和分类问题中，y|x；θ ∼ N（µ，σ2），在分类1中，y|x；θ ∼ Bernoulli（φ），在本节中展示这两种方法都是更广泛的模型族的特例，称为广义线性模型GLM。我们如何为我们的问题构建一个合适的模型？

例子①最小二乘法Ordinary least squares②逻辑回归Logistic regression

①最小二乘法Ordinary least squares 假设y|x；θ ∼ N（µ，σ2），则expected value 为µ  ②逻辑回归Logistic regression 假设y|x; θ ∼ Bernoulli(φ)，则E[y|x；θ]=φ

引入一个新函数，将分布平均值作为参数的函数g称为正则响应函数canonical response function；它的逆g−1称为canonical link function

③泊松分布

④multinomial