ML(1):从广义线性模型(GLM)到逻辑回归(LR)

小感言：

学习ML有一段时间了，中间看了书也看了视频，鉴于和男朋友两个人都是非科班出身，想两个人一起运行一个博客，记录学习的心得~拯救自己的健忘体质。
起初学习ML看的是Andrew Ng的Coursera视频，里面的对ML的讲解避开了很多数学推导，很适合入门也留下了很多问题，所以这两天又看了cs229，重新整理一下ML的知识点。

一、LR(逻辑回归)为什么用sigmoid函数

首先从sigmoid函数自身的性质来说，它有很多的优点：

• sigmoid单调递增且连续
• sigmoid函数关于(0,0.5)对称
• sigmoid可以将输出值映射到0~1之间

但是并不是因为sigmoid有很多优秀的性质才选择sigmoid函数，这里可以从广义线性模型（Generalized Linear Models, GLM）来解释。

二、指数分布族

在介绍广义线性模型之前需要先了解一下指数分布族(The exponential family)。
指数分布族的任一类分布都用以下公式描述：
$$P(y;\eta )=b(y)exp({\eta }^{T}T(y)-a(\eta ))$$
(该公式来自cs229的讲义,我查阅了一些资料，不同的地方写法不同，但都可以相互进行转换)

• $\eta$:分布的自然参数(与分布有关)
• $T(y)$:充分统计量，通常$T(y)=y$
• $e^{-a(\eta )}$的作用是保证$\sum P(y;\eta )=1$

满足指数分布族的概率分布：

• 伯努利分布(Bernoulli)：0-1分布
• 二项分布(Multinomial)：重复n次伯努利实验
• 泊松分布(Poisson)：描述单位时间内随机事件发生的次数。对计数过程进行建模，比如网站访问量的计数问题
• 指数分布(Exponential)：要等到一个随机事件发生，需要经历多久时间
• 伽马分布(Gamma)：要等到n个随机事件都发生，需要经历多久时间
• 高斯分布(Gaussian)：即正态分布
  其实大多数的概率分布都属于指数分布族

三、广义线性模型

对于回归或是分类问题，我们的目标是若其分布属于指数分布族的某种分布，那么可以求出拟合函数$h(x)$。广义线性模型具有三个特征：

• $y_i$是相互独立的随机变量，且$y$服从以$\eta$为参数的指数分布族中的某个分布，即 y ∣ x ∼ E x p o n e n t i a l F a