贝叶斯原理,总感觉憋着,不透。关注到一篇文章介绍NIPS2019最新趋势中有关于贝叶斯深度学习的,还是担心链接失效,博客这里mark关键信息。
关键内容:
后续有时间需要整理这些最新文章。
总结贝叶斯在机器学习中的优缺点有:
1)优点:天然的扛过拟合(先验约束,参数优化过程降低对训练数据的依赖),求参数空间积分进行预测具有集成学习能力,超参最优化可以求稀疏解降低模型复杂度(典型应用是RVM);
2)缺点:不适合大型数据集。
贝叶斯原理在理论和方法上遵循:MLE(相当于LS)->MAP(相当于LS+regularization, L1相当于拉普拉斯先验分布,L2相当于高斯先验分布)->Inference三个层次,其中inference涉及到指数分布家族解析解、拉普拉斯近似、采样法求解(MCM,VI)。
贝叶斯在小数据集上的抗过拟合以及不确定估计在实验过程是可以证明,但其可解释性(先验假设)似乎没关注到论文,在医学领域是可以探索的一个方向。