NLP 3.7 核函数+变分推断

1、核函数

• 将样本值映射到高维空间，使得非线性不可分的问题可分。如高斯核函数
• 解决内积产生过大的时间复杂度的问题

面试题：

1）为什么在SVM中应用核函数？

• 对于线性不可分的数据，需要把它映射到高维空间，使它线性可分
• 对于svm的目标函数，有内积项，如果映射增加degree，会使得时间复杂度特别大。

2）有哪些常见的核函数：

• 线性核
• 多项式核函数
• 高斯核函数
• sigmoid核函数

3）如何在svm中选择核函数？

• 如果特征的数量大到和样本数量差不多，使用LR或者线性svm
• 如果特征的数量小，样本的数量正常，使用高斯核svm
• 如果特征数量小，而样本数量巨大，需要手动添加一些特征。

2、变分法 Variational Inference

是一个优化型得算法。是一个bias的算法。使用更简单的方式去替代后验概率。

Gibbs sampling（MCMC）是 unbias 的

随着采样的数量越多，会得到真正正确的答案。

2.1 Introduction

如果对于隐变量的条件概率很难计算，那么可以选择一个新的后验概率替换。
最理想的状态是p=q

因为实际上q不可能完全等于p，所以是bias的

问题：p(z|x,$\alpha$)=======>q(z|$\alpha$)
对于两个分布，希望新的分布和原来的分布相似度越来越高。使用KL散度

如何估计两个分布的相似度：

• KL divergence
• Wasserstin distance
• 卷积

2.2 KL divergence