使用迁移学习构建含有信息量的贝叶斯先验（Andrew Ng）

很多有监督学习的应用都受限于少量数据很难实现泛化。但是贝叶斯设置中，可以依赖编码了域知识的参数encodes useful domain knowledge去实现这一点（泛化）。

本文聚焦于逻辑回归，提出了一个算法，可以为一个给定监督学习任务，用一个全协方差矩阵 a full covariance matrix自动构建一个多元高斯先验a multivariate Gaussian prior 。算法放松了之前常用的但是过于简单的假设：参数之间相互独立。即这个算法允许参数之间是相互依赖的，这才更符合实际。算法使用其他相似的学习问题（即相关的，所以是迁移学习）来估计一对相互依赖的参数的协方差。然后用一个半正定方法去结合这些估计并为当前任务学习出一个好的先验。文章用二元文本分类任务来做实验，结果减少了20%到40%的错误率。