最优化方法(学习笔记)-第七章统计估计

Logistic 回归-二分类

样本 { ( x i , y i ) } i = 1 m \{(x_i,y_i)\}_{i=1}^m {(xi​,yi​)}i=1m​,假设观测数据$y_i$符合线性模型$y_i=x_{i}w+v_i,v_i$是噪声,$x$是真实值.$w$是待求的模型/参数/权值.

整体分类思路

• 回顾拟合问题 : 最小二乘法LSE

  LS : $J(w)=\min \frac{1}{2}\sum _{i=1}^m(y_i-x_{i}w{)}^2$

• 分类问题 : y i ∈ { 0 , 1 } y_i\isin\{0,1\} yi​∈{0,1}

  因为普通的线性模型无法将$y_i$限定在[0,1]之间(作为概率),又因为普通阶跃函数不可微 , 所以考虑使用sigmoid函数对分类概率建模.
  $$p=prob(y=1)=\hat{y}=\frac{1}{e^{-z}+1}=\{\begin{array}{ll}1& z=+\infty \\ (0,1)& otherwise\\ 0& z=-\infty \end{array}$$
  其中 z = x w , 样 本 { ( x i , y i ) } i = 1 m , w 是 待 估 计 的 参 数 z=xw,样本\{(x_i,y_i)\}_{i=1}^m,w是待估计的参数 z=xw,样本{(xi​,yi​)}i=1m​,w是待估计的参数

  分类(连接link函数) : 如果$\hat{y}$大于阈值0.5,那么就判定$\hat{y}=1$,否则就是$\hat{y}=$0
  

  根据已知的概率分布函数(sigmoid函数)的求导,得到$xw+v=\log (\frac{P(y=1|x)}{1-P(y=1|x)})$

  逻辑回归的思路是，先拟合决策边界(不局限于线性，还可以是多项式)，再建立这个边界与分类的概率$\hat{y}$联系，从而得到了二分类情况下的概率。
  
  其中,实线是分类概率(sigmoid)函数的最大估计曲线,存在50个样本点.

最大化似然函数

设:$P(y=1|x)=\hat{y};P(y=0|x)=1-\hat{y}$

似然函数:$L(w)=\Pi [\widehat{y_i}{]}^{y_i}[1-\widehat{y_i}{]}^{1-y_i}$

• 为了方便求解，写成对数似然函数:

  $\log L(w)=\sum [y\log \hat{y}+(1-y)\log (1-\hat{y})]⟺$交叉熵公式

  $=\sum [y\log \frac{\hat{y}}{1-\hat{y}}+\log (1-\hat{y})]=\sum _{i=1}^{k[y=1]}(xw)-\sum _{i=1}^{m[y=0]}\log (1+e^{xw})$

  无论$y=1/0$,函数对于$w$都是凹函数.

• 所以,最大化似然函数$⟺$最大化交叉熵

• 求解方法 : 梯度下降和牛顿法

因为机器学习里,损失函数衡量的是模型预测错误的程度,也就是$J(w)=-1/N\log L(w)$,表现为

$cost(\hat{y},y)=\{\begin{array}{ll}-\log \hat{y}& y=1\\ -\log 1-\hat{y}& y=0\end{array}$,所以基于最大似然估计MLE的逻辑回归,其损失函数是凸函数.

• 所以,最大化似然函数$⟺$最小化损失函数

Logistic 回归的本质是 : 假设数据(分类概率)服从这个分布,然后使用极大似然估计做参数的估计.

• 所以$y$可以从概率的角度去解释.
  $$\begin{gathered} y=F(z)=P(Z\le z)=\frac{1}{1+e^{-(z-\mu )/\gamma }} \\ f(z)=F^{\prime }(Z\le z)=\frac{e^{-(z-\mu )/\gamma }}{\gamma (1+e^{-(z-\mu )/\gamma }{)}^2} \end{gathered}$$
  Logistic 分布是由其位置参数$\mu$和尺度参数$\gamma$定义的连续分布。
  
  Logistic 分布的形状与正态分布的形状相似，但是 Logistic 分布的尾部更长，所以我们可以使用 Logistic 分布来建模比正态分布具有更长尾部和更高波峰的数据分布。在深度学习中常用到的 Sigmoid 函数就是 Logistic 的分布函数在$\mu =1,\gamma =1$的特殊形式。

  当因变量服从伯努利分布时，广义线性模型就为逻辑回归

最大似然估计MLE

• 模型(分布)估计 : 从观测数据中的一组随机变量 , 估计概率密度$p(y)$
• 参数估计 : 从一簇密度函数中 , 根据参数$x$选择概率密度$p_x(y)$

最大似然估计就是用于参数估计中(具体可以参考概率图模型的"学习"部分),定义如下:
$$\underset{x}{\max }\log p_x(y)$$
$y$是观测数据;

$x$是参数,可以进行限制($x\notin C\text{ then }{p}_x(y)=0$);

$l(x)=\log p_x(y)$是对数似然函数,是凹函数(固定$y$时),所以取对数可以转变为求解凸函数问题.

带独立同分布噪音的线性测量模型

$$y_i=a_i^{T}x+v_i,i=1,...,m$$

$x$待求的未知参数向量 [就是前面的$w$]

$v_i$是独立同分布噪音(IID measurement noise),密度$p(z)$

$y_i$是观测数据,密度$p_x(y)={\Pi }_{i=1}^{m}p(y_i-a_i^{T}x)$

最大似然函数,求解x:
$$\max l(x)=\sum _{i=1}^m\log p(y_i-a_i^{T}x)$$

$v_i$是高斯分布

$v_i\backsim \mathcal{N}(0,{\sigma }^2),p(z)=\sqrt{(2\pi {\sigma }^2)}{e}^{-\frac{z^2}{2{\sigma }^2}}$

似然函数:$l(x)=-\frac{m}{2}\log (2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^m(a_i^{T}x-y_i{)}^2$

似然函数的前一项固定不变,只有第二项受样本数据影响

• 在最小二乘逼近问题中,逼近的解$x_{LSE}=\arg {\min }_x||Ax-y|{|}_2^2$

• 在最大似然估计问题中,极值点${\max }_{x}l(x)={\min }_x\sum _{i=1}^m(a_i^{T}x-y_i{)}^2$

• 可以发现该问题下$x_{MLE}=x_{LSE}$

意味着当我们用最小二乘逼近时,暗含着近似误差服从正态分布

$v_i$是拉普拉斯分布

$p(z)=\frac{1}{2s}{e}^{-\frac{|z|}{s}},s>0$

似然函数:$l(x)=-m\log (2s)-\frac{1}{s}\sum _{i=1}^m|a_i^{T}x-y_i|$

• 最小$L1$范数问题的解$x_{L1}=\arg {\min }_x\sum _{i=1}^m|a_i^{T}x-y_i|$
• 在最大似然估计问题中,极值点${\max }_{x}l(x)={\min }_x\sum _{i=1}^m|a_i^{T}x-y_i|$
• 因此$x_{MLE}=x_{L1}$

$v_i$是均匀分布

$p(z)=\frac{1}{2a},z\in [-a,a]$

似然函数:$l(x)=\{\begin{array}{ll}-m\log (2a)& |a_i^{T}x-y_i|\le a\\ -\infty & otherwise\end{array}$

在最大似然估计问题中,极值点${\max }_{x}l(x)=-m\log (2a),s.t.|a_i^{T}x-y_i|\le a$

最大后验概率MAP估计

贝叶斯公式:$p(y|x)=\frac{p(x,y)}{p(x)}=\frac{p(x|y)p(y)}{p(x)}$

x是待估计参数向量[在EM算法表示为θ],y是观测向量,两者均是随机变量,因为样本固定,所以先验知识$p(x)和p(y)$相互独立,基于样本的$p(y)$保持不变,可忽略.

${\max }_x(\log p(y|x)+\log p(x))={\max }_x\log p(x|y)$ , $p(x|y)$表示基于观测y后,对x的了解程度–后验概率

• 最大似然估计是求参数x, 使似然函数P(y|x)最大。
• 最大后验概率估计则是想求x使P(y|x)P(x)最大。求得的x不单单让似然函数最大，x自己出现的先验概率也得大。
• 这有点像正则化里加惩罚项的思想，不过正则化里是利用加法，而MAP里是利用乘法。

$p(x|y)$表示基于观测y后,对x的了解程度.

• 例子[均匀分布]

若$v_i\backsim [-a,a],x\backsim \mathcal{N}(\bar{x},\sum )$

于是变成求解
$$\begin{gathered} \min -\log (\exp -(x-\bar{x}{)}^T{\Sigma }^{-1}(x-\bar{x})) \\ s.t.|a_i^{T}x-y_i|\le a,i=1,...,m \end{gathered}$$

多项分布的MAP&MLE

• 例子:多面体实验,k=6个面,做M次实验

  θ = { p 1 , p 2 , . . . , p k } T , p i 表 示 得 第 i 个 面 的 概 率 \theta=\{p_1,p_2,...,p_k\}^T,p_i表示得第i个面的概率 θ={p1​,p2​,...,pk​}T,pi​表示得第i个面的概率

  x = { x 1 , x 2 , . . . , x k } T , x i 表 示 第 i 面 是 数 量 x=\{x_1,x_2,...,x_k\}^T,x_i表示第i面是数量 x={x1​,x2​,...,xk​}T,xi​表示第i面是数量

  MAP:$\arg {\max }_{\theta }P(\theta |x)$

  MLE:$\arg {\max }_{\theta }P(x|\theta )$

• 在某种概率分布($\theta$决定)下,在M次实验产生的组合数越多,就越有可能囊括某一具体的M次实验结果的组合情况.

• 组合数$\Omega =\frac{M!}{(x_1)!(x_2)!...(x_k)!}$

• 极大对数似然函数$\ln L(\theta )=\ln (\Omega {\Pi }_i^k(p_i^{x_i}))=\ln M!-{\sum }_i^k\ln (x_i!)+{\sum }_i^k{x}_i\ln p_i$
  $$\begin{gathered} \underset{p_i}{\max }\ln L(\theta ) \\ s.t.\sum _i^k{p}_i=1 \\ \mathcal{L}=\ln L(\theta )-\lambda (\sum _i^k{p}_i-1) \end{gathered}$$
  分别对$p_i$求导,得到$\frac{x_i}{p_i}-\lambda =0\to p_i^{\ast }=\frac{x_i}{\lambda }$

  又因为${\sum }_i^k{p}_i=1\to \lambda =N,p_i^{\ast }=\frac{x_i}{N}$

无参数估计

• 无参数估计:密度函数形式未知,利用训练数据直接对概率密度进行估计,又称模型无关法.

• 参数估计:事先假定一种分布函数,利用样本数据估计其参数,又称基于模型法.

KNN近邻法:是样本估计类概率密度P(x|w_i)

Parzen窗口法:是样本估计后验概率P(w_i|x)

最大熵原理

最大熵原理 : 当预测一个随机事件概率分布时,在满足全部已知条件,而对未知情况不做任何主观假设,把未知事件当成等概率事件处理。

• 最大熵:$H(P)=-{\sum }_i^k{P}_i\log P_i,s.t(0\le H(P)\le \log |x|$

  $|x|$是数据中取x值的个数,$x\backsim$均匀分布

• Kullback-Leiber散度:$KL(P||q)={\sum }_i^n{P}_i\log \frac{P_i}{q_i},0\le q_i\le 1,\sum q_i=1$

关于未知分布最合理的推断 : 是符合已知的最随机/不确定的推断

最优探测器设计-二分类

假设检验

假定随机变量$X\in 1,..,n$

存在两种假设分布:$p=(p_1,...,p_n),q=(q_1,...,q_n)$

• 确定性探测器deterministic detector
  $$T=\left(\begin{array}{cccc}1& 0& ...& 1\\ 0& 1& ...& 0\end{array}\right)$$

• 随机/概率探测器randomized detector
  $$T=\left(\begin{array}{cccc}0.7& 0.5& ...& 0.2\\ 0.3& 0.5& ...& 0.8\end{array}\right)$$

探测器/概率转移矩阵

定义:$P_{kj}=Prob(X=k|\theta =j),t_{ik}=Prob(\hat{\theta }=i|X=k)$

• T矩阵的每一列加起来是1

• 转移矩阵D=TP

$$\begin{gathered} D_{ij}=Prob(\hat{\theta }=i|\theta =j) \\ =\sum _{k=1}^{n}P(\hat{\theta }=i|x=k,\theta =j)P(x=k|\theta =j) \\ =\sum _k{t}_{ik}{P}_{kj}=(TP{)}_{ij} \end{gathered}$$

最优探测器

• 正确率:$P_i^d=D_{ii}$

• 错误率:$P_i^e={\sum }_{j\ne i}{D}_{ji}$

• 对错误率的限制[可行域问题]

  $D_{ii}\ge L_i,D_{ij}\le U_{ij}(i\ne j)$

• 最小化最大错误率(变量$T=(t_1,...,t_k)$)
  $$\begin{gathered} \min \underset{j}{\max }{P}_j^e \\ s.t.t_{.k}\ge 0,1^T{t}_{.k}=1 \end{gathered}$$

Binary Case

• 概率转移矩阵
  $$D=\left[\begin{array}{cc}{T}_p& T_q\end{array}\right]=\left[\begin{array}{cc}1-P_{fp}& P_{fn}\\ P_{fp}& 1-P_{fn}\end{array}\right]$$

  • $P_{fp}$是False Positive,$P_{fn}$是False Negative,相互竞争

• [多条件]最小探测器设计
  $$\begin{gathered} \underset{T\in R^{2\times n}}{\min }(P_{fp},P_{fn})=((T_p{)}_2,(T_q{)}_1)[w.r.t{R}_{+}^2] \\ s.t.t_{1k}+t_{2k}=1,t_{ik}\ge 0,i=1,2,k=1,..,n \end{gathered}$$

  • [min-D]标量化:$\lambda >0$
    $$\begin{gathered} \min (T_p{)}_2+\lambda (T_q{)}_1 \\ s.t.t_{1k}+t_{2k}=1,t_{ik}\ge 0,i=1,2,k=1,..,n \end{gathered}$$

  • 求解

  $$\begin{gathered} 目标函数Q=\sum _{k=1}^n{t}_{2k}{p}_k+\lambda \sum _{k=1}^n{t}_{1k}{q}_k \\ 拉格朗日L=Q-\sum \sum {\mu }_{ik}{t}_{ik}+\sum {\nu }_k(t_{1k}+t_{2k}-1) \\ {\mu }_{ik}\ge 0,互补松弛条件:{\mu }_{ik}{t}_{ik}=0 \end{gathered}$$

  • 分别对$t_{1k}和t_{2k}$求偏导
    $$\begin{gathered} \lambda q_k-{\mu }_{1k}+{\nu }_k=0 \\ {p}_k-{\mu }_{2k}+{\nu }_k=0 \\ (t_{1k},t_{2k})=\{\begin{array}{ll}(1,0)& p_k\ge \lambda q_k\\ (0,1)& p_k<\lambda q_k\end{array} \end{gathered}$$
    $p_k\ne \lambda q_k$ : 这是由似然比检验得到的确定性探测器

    $p_k=\lambda q_k$ : 对于某些k ,$t_{1k}=1-t_{2k}$(概率探测器)是最优的,比如:帕累托最优检测器包括非确定性检测器

• [min-max(fp,fn)]最小最大探测器
  min ⁡ T max ⁡ ( P f p , P f n ) = max ⁡ { ( T p ) 2 , ( T q ) 1 } s . t . t 1 k + t 2 k = 1 , t i k ≥ 0 , i = 1 , 2 , k = 1 , . . , n \min_{T}\max(P_{fp},P_{fn})=\max\{(T_p)_2,(T_q)_1\} \\s.t. t_{1k}+t_{2k}=1,t_{ik}\geq0,i=1,2,k=1,..,n Tmin​max(Pfp​,Pfn​)=max{(Tp​)2​,(Tq​)1​}s.t.t1k​+t2k​=1,tik​≥0,i=1,2,k=1,..,n
  作为线性规划问题,解通常不是确定性的.
  

ROC曲线

基本含义

真实情况	预测结果-正例	预测结果-反例	含义	统计量
正例	TP(将正例正确预测为正例)	FN(将正例错误预测为负例)	TP + FN 表示实际数据集中正样本的数量	召回率Recall / 灵敏度Sensitivity / TPR = TP/(TP+FN)， 漏诊率 = 1 - 灵敏度
反例	FP(将负例错误的预测为正例)	TN(将负例正确的预测为负例)	FP + TN 表示实际数据集中负样本的数量	FPR = FP/(FP+TN), 特异度(Specificity) = 1 - FPR = TN/(FP+TN)
加和含义	TP + FP 表示预测的正类样本数	FN + TN 表示预测的负类样本数	TP + FN + FP + TN 表示样本总数
统计量	精确率Precision = TP/(TP+FP)			正确率Accuracy = (TP+TN)/(TP+TN+FP+FN), 错误率 = (FP+FN)/(TP+TN+FP+FN), F-measure = 2*(Precision*Recall)/(Precision+Recall)

其中最重要的两个公式如下：

$$TPR=\frac{TP}{TP+FN},,FPR=\frac{FP}{FP+TN}$$
在ROC曲线图中，每个点以对应的FPR值为横坐标，TPR值为纵坐标

ROC曲线的绘制步骤如下：

1. 假设已经得出一系列样本被划分为正类的概率Score值，按照大小排序。
2. 从高到低，依次将“Score”值作为阈值threshold，当测试样本属于正样本的概率大于或等于这个threshold时，我们认为它为正样本，否则为负样本。举例来说，对于某个样本，其“Score”值为0.6，那么“Score”值大于等于0.6的样本都被认为是正样本，而其他样本则都认为是负样本。
3. 每次选取一个不同的threshold，得到一组FPR和TPR，以FPR值为横坐标和TPR值为纵坐标，即ROC曲线上的一点。
4. 根据3中的每个坐标点，画图。

AUC(Area Under Curve)表示ROC曲线下的面积，主要用于衡量模型的泛化性能，即分类效果的好坏。AUC是衡量二分类模型优劣的一种评价指标，表示正例排在负例前面的概率。

• Two Alternative forced choice

  一次采两个样本分别由两个分布产生,不需要阈值,通过样本本身起到阈值作用,简单采用比较方法得到正确率

$$正确率P(x_1>x_0)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }I(T^{\prime }>T)f_1(T^{\prime })f_0(T)dTd{T}^{\prime }$$

实验设计

m次测量数据$y_i=a_i^{T}x+w_i,w_i\backsim iid\mathcal{N}(0,1),G=\sum a_i{a}_i^T$

最小二乘估计

$$\hat{x}=(\sum _{i=1}^m(a_i{a}_i^T){)}^{-1}\sum _{i=1}^m{y}_i{a}_i=(A^{T}A{)}^{-1}{A}^{T}y$$

• 估计均值,
  $$E(\hat{x})=E(G^{-1}Gx+G^{-1}\sum a_i{w}_i)\stackrel{E(w)=0}{=}x$$

• 估计方差
  $$\begin{gathered} Var(\hat{x})=E((\hat{x}-x)(\hat{x}-x{)}^T)=E(G^{-1}\sum _i{a}_i{w}_i)(G^{-1}\sum _j{a}_j{w}_j) \\ \stackrel{i\ne j的乘积为0}{=}E(G^{-1}\sum _i{a}_i{a}_i^T{G}^{-1}{w}_i^2)\stackrel{E(w_i^2)=1}{=}{G}^{-1} \end{gathered}$$

• 于是需要找到序列 a i ∈ { v 1 , . . . , v p } a_i\isin\{v_1,...,v_p\} ai​∈{v1​,...,vp​},使得$Var=G^{-1}$最小

$$\begin{gathered} \min (\sum _{k=1}^p{m}_k{v}_k{v}_k^T{)}^{-1} \\ s.t.m_k\ge 0,m_1+..+m_p=m,m_k\in \mathbb{Z} \end{gathered}$$

求变量$m_k$,在整数规划中很难求解

• 松弛实验设计

  假设m远大于p,定义实数${\lambda }_k=\frac{m_k}{m}$
  $$\begin{gathered} E=\min \frac{1}{m}(\sum _{k=1}^p{\lambda }_k{v}_k{v}_k^T{)}^{-1} \\ s.t.\lambda \ge 0,1^T\lambda =1 \end{gathered}$$

  • 常见的标量化:$\min \log det(E),tr(E),{\lambda }_{max}(E)$
  • 可以加入其他凸约束:比如定界$c^T\lambda \le B$

D-optimal design

$$\begin{gathered} \min \log \det (\sum _{k=1}^p{\lambda }_k{v}_k{v}_k^T{)}^{-1} \\ s.t.\lambda \ge 0,1^T\lambda =1 \end{gathered}$$

就是最小化置信椭球的体积.

• dual problem化为对偶问题
  $$\begin{gathered} \max \log \det W+n\log n \\ s.t.v_k^{T}W{v}_k\le 1,k=1,..,p \end{gathered}$$
  { x ∣ x T W x ≤ 1 } \{x|x^TWx≤1\} {x∣xTWx≤1}是以原点为中心的最小体积的椭球，其中包括所有测试向量$v_k$

• complementary slackness互补松弛条件
  $${\lambda }_k(1-v_k^{T}W{v}_k)=0,k=1,..,p$$
  最优的实验:是在$W_{\lambda }$定义(最小椭球)的边界上使用$v_k$

• 实验结果
  
  ​ 一共有20个向量$v_k$符合,但由最优$W_{\lambda }$边界确定的只有两个$\lambda \ne 0$的向量

总结

• logistics回归-二分类

  • 先拟合决策边界(不局限于线性，还可以是多项式)，再建立这个边界与分类的概率$\hat{y}$联系，从而得到了二分类情况下的概率。
  • 最大化似然函数$⟺$最大化交叉熵;,最大化似然函数$⟺$最小化损失函数
  • Logistic 回归的本质是 : 假设数据(分类概率)服从这个分布,然后使用极大似然估计做参数的估计.

• 最大似然估计MLE

  • 模型(分布)估计 : 从观测数据中的一组随机变量 , 估计概率密度$p(y)$

  • 参数估计 : 从一簇密度函数中 , 根据参数$x$选择概率密度$p_x(y)$

  • 带噪的线性测量模型

    $\max l(x)={\sum }_{i=1}^m\log p(y_i-a_i^{T}x)$

    • [L2]高斯分布

      ${\max }_{x}l(x)={\min }_x\sum _{i=1}^m(a_i^{T}x-y_i{)}^2$ ; $x_{MLE}=x_{LSE}$

    • [L1]拉普拉斯分布

      ${\max }_{x}l(x)={\min }_x\sum _{i=1}^m|a_i^{T}x-y_i|$ ; $x_{MLE}=x_{L1}$

    • 均匀分布

      ${\max }_{x}l(x)=-m\log (2a),s.t.|a_i^{T}x-y_i|\le a$

  • 最大后验概率MAP

    最大似然估计是求参数θ, 使似然函数P(x|θ)最大。最大后验概率估计则是想求θ使P(x|θ)P(θ)最大。

    求得的θ不单单让似然函数最大，θ自己出现的先验概率也得大.

  • 多项分布的MAP&MLE

    多面体实验,k=6个面,做M次实验

  • 无参数估计

    • 无参数估计:密度函数形式未知,利用训练数据直接对概率密度进行估计,又称模型无关法.
    • 参数估计:事先假定一种分布函数,利用样本数据估计其参数,又称基于模型法.
    • 最大熵原理 : 当预测一个随机事件概率分布时,在满足全部已知条件,而对未知情况不做任何主观假设,把未知事件当成等概率事件处理。

• 最优探测器设计-二分类

  • 假设检验

    • 存在两种假设分布
    • 包括确定性探测器,随机/概率探测器

  • 概率转移矩阵D=TP

    定义:$P_{kj}=Prob(X=k|\theta =j),t_{ik}=Prob(\hat{\theta }=i|X=k)$

  • 最优探测器

    最小化最大错误率 $\min {\max }_j{P}_j^e$

  • Binary Case

    • 最小探测器设计-可得到的确定性探测器
    • 最小最大探测器-通常会得到概率探测器

  • ROC曲线

    • AUC表示ROC曲线下的面积，主要用于衡量模型的泛化性能，即分类效果的好坏。

    • Two Alternative forced choice:两两样本比较得到正确率

• 实验设计-举例

  • 最小二乘估计
  • D-optimal design[松]

参考

逻辑回归,建议自己看细节

逻辑回归为什么用Sigmoid

ROC曲线

总结

凸优化PPT