SEMMDL

模型构建

---

$$\begin{align} \min_{P,B,S,<W,b>} & ||PX-BS||_F^2+\lambda_1 ||S||_2^2+\lambda_2 ||X-P^TPX||_F^2+2\lambda_3\sum_{c=1}^CL(S,y^c,w_c,b_c) \\ s.t. \ \ \ & PP^T=I,\sum_{i=1}^r B_{i,j}^2 \leq 1 ,\forall j=1,...,K \end{align}$$

其中，$L(·)$为SVM优化模型，$\forall c$写作，

$$L(S,y,w,b)=||w||_2^2+\theta \sum_{i=1}^Nl(s_i,y_i,w,b)$$

上式$l(s_i,y_i,w,b)$为Hinge损失，但实验证明采用其二次形式精度更高，其二次型可写作，

$$l(s_i,y_i,w,b) = \{max(0,1-y_i^c(w_c^Ts_i+b_c))\}^2$$
也即是，
$$l(s_i,y_i,w,b) = \begin{cases} ||y_i^c(w_c^Ts_i+b_c))-1||_2^2, & \text{if $1-y_i^c(w_c^Ts_i+b_c))>0$} \\[2ex] 0, & \text{else} \end{cases}$$

---

模型求解

---

Step 1. 低维空间字典学习

等价目标，

$$\begin{align} \min_{B,S} & ||PX-BS||_F^2+\lambda_1 ||S||_2^2+2\lambda_3\sum_{c=1}^CL(S,y^c,w_c,b_c) \\ s.t. & \sum_{i=1}^r B_{i,j}^2 \leq 1 ,\forall j=1,...,K \end{align}$$

① 固定$B$，求$S$

当$HLS \subseteq \emptyset$，（参考论文式4.16~4.19）

$$S = (B^TB+\lambda_1 I)^{-1}B^TPX$$

当$HLS$不为空集时，等价于对每个

$$\begin{align} \min_{s_i} & ||PX-BS||_F^2+\lambda_1 ||S||_2^2+2\theta\lambda_3\sum_{i,c\in HLS}\sum_{c=1}^C||y_i^c(w_c^Ts_i+b_c))-1||_2^2\\ s.t. & \sum_{i=1}^r B_{i,j}^2 \leq 1 ,\forall j=1,...,K \end{align}$$

未完待续。。。