指数族分布、广义线性模型、线性回归、logistic回归

• 线性模型
  - 指数族分布
  - 伯努利分布
  - 线性回归与广义线性模型
  - 线性回归
  - 广义线性模型
  - logistic回归(对数几率回归)
  - logistic回归添加L1正则、L2正则以及同时添加L1、L2正则
  - 线性判别分析 (LDA)
  - 多分类学习
  - 类别不平衡问题

线性模型

指数族分布

指数族分布指一类分布，其概率密度函数都可以写成如下形式：
$$p(y;\eta )=b(y)exp({\eta }^{T}T(y)-a(\eta ))$$
其中：

• $\eta$为自然参数。对于线性回归和logistic回归，$\eta$是一个实数，且假设$\eta =w\cdot x$; 对于softmax回归，$\eta$是一个向量，且假设${\eta }^i=w_i\cdot x$
• T(y)是充分统计量，对于线性回归和logistic回归，有T(y)=y；对于k个类的softmax回归，$T(y)=(1y=1,1y=2,...,1y=k-1{)}^T$
• $a(\eta )$是一个对数配分函数，$e^{-a(\eta )}$在式子中起到归一化的作用，保证概率密度函数在随机变量y上的积分为1，
  一旦T、a、b确定，就可以确定一种分布，$\eta$为参数。

伯努利分布

伯努利分布$B(\varphi )$的分布列为：
$$\begin{gathered} p(y;\varphi )={\varphi }^y(1-\varphi {)}^{1-y} \\ =exp(ylog\varphi +(1-y)log(1-\varphi )) \\ =exp(log(\frac{\varphi }{1-\varphi })y+log(1-\varphi )) \end{gathered}$$

由此可得
$$\begin{gathered} b(y)=1 \\ \eta =log(\frac{\varphi }{1-\varphi })⟹\varphi =\frac{1}{1+e^{-\eta }} \\ T(y)=y \\ a(\eta )=-log(1-\varphi )=log(1+e^{\eta }) \end{gathered}$$

线性回归与广义线性模型

给定d个属性$x=(x_1;x_2;...;x_d)$，线性模型试图学得一个通过属性的线性组合来进行预测的函数，即
$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$
一般用向量形式写成
$$f(x)=w^{T}x$$