12.3
稀疏表达
稀疏矩阵,(稠密$\rightarrow $稀疏)
L 1 L_1 L1稀疏性, L 2 L_2 L2没有稀疏性
证明详见Lasso论文(实际上产生原因来自于James-Stein统计量,意图降低参数的MSE)
用 α \alpha α表达 x i x_i xi, 字典:B(解混中的光谱库)
m i n ∣ ∣ x i − B α i ∣ ∣ 2 2 + λ ∣ ∣ α i ∣ ∣ 1 min||x_i-B\alpha_i||_2^2+\lambda||\alpha_i||_1 min∣∣xi−Bαi∣∣22+λ∣∣αi∣∣1
优化过程:
- 固定B,优化$ \alpha$ (求导,前面一项不是二范数时用Lip条件)
- 固定 α \alpha α,优化B(OLS或者SVD)
采样
逆函数直接采样
f ( ϵ ) = c d f P − 1 ( u ) , u ∼ [ 0 , 1 ] f(\epsilon)=cdf_P^{-1}(u),u\sim[0,1] f(ϵ)=cdfP−1(u),u∼[0,1]
覆盖采样
- 后面的间接采样相当于先采个别的,再二项分布决定取舍
- 适用于知道 p ( x ) p(x) p(x)但是形式比较复杂的情况
要得到p(x)的样本,取 k q ( x ) ≥ p ( x ) kq(x)\geq p(x) kq(x)≥p(x)的q(x)采样
采纳概率 α ( x ^ ) = p ( x ^ ) k q ( x ^ ) \alpha(\hat x)=\frac{p(\hat x)}{kq(\hat x)} α(x^)=kq(x^)p(x^)
重要采样
E p [ f ( x ) ] = ∫ f ( x ) p ( x ) = E q [ f ( x ) p ( x ) q ( x ) ] E_p[f(x)]=\int f(x)p(x)=E_q[f(x)\frac{p(x)}{q(x)}] Ep[f(x)]=∫f(x)p(x)=Eq[f(x)q(x)p(x)]
MCMC
- Process: ergodic stationary
- Method: 经历预烧期
Metroplis-Hasting Sample
Q ( i , j ) : Q(i,j): Q(i,j):转移概率,一般初始假设 ∼ N ( i , σ 2 ) \sim N(i,\sigma^2) ∼N(i,σ2),用 α \alpha α作为乘数逼近真实转移概率(操作上复合一个Bernoulli分布进行取舍)
细致平稳过程 π ( i ) Q ( i , j ) α ( i , j ) = π ( j ) Q ( j , i ) α ( j , i ) \pi(i)Q(i,j)\alpha(i,j)=\pi(j)Q(j,i)\alpha(j,i) π(i)Q(i,j)α(i,j)=π(j)Q(j,i)α(j,i)
平稳后 α ( i , j ) : = π ( j ) α ( j , i ) \alpha(i,j):= \pi(j)\alpha(j,i) α(i,j):=π(j)α(j,i)
实际操作上除过去,取舍概率 α ( i , j ) = m i n { π ( j ) Q ( j , i ) π ( i ) Q ( i , j ) , 1 } \alpha(i,j)=min\lbrace \frac{\pi(j)Q(j,i)}{\pi(i)Q(i,j)},1\rbrace α(i,j)=min{π(i)Q(i,j)π(j)Q(j,i),1}
Gibbs Sampling
更适用于高维情况
在MH取样的基础上,对高维向量,逐维更新