【论文笔记】贝叶斯深度学习（2020）-CSDN博客

本文链接：https://blog.csdn.net/weixin_48911755/article/details/139153270

1 Introduce

高阶人工智能目标：识别条件依赖关系、因果推断、逻辑推理、处理不确定性等。

正则化（Regularization）是一种用于防止过拟合和提高模型泛化能力的技术。正则化技术通过引入额外的信息或约束来限制模型的复杂度，从而降低过拟合的风险。

权值衰减（Decay）是一种常见的机器学习算法，用于调整模型中各个参数的权重，以便在训练过程中更有效地优化模型性能。权值衰减通常用于处理大规模数据集和复杂模型，以减少过拟合和提高泛化能力。

权值衰减的核心思想是通过逐渐减小模型参数的权重，从而使模型在训练过程中逐渐放松，减轻对训练集的依赖。这种技术也被称为L2正则化，是通过在损失函数中添加一个正则项来实现的，这个正则项通常是权值的平方和，乘以一个超参数，这个超参数称为衰减率（decay rate）。

dropout 是一种正则化技术，主要用于神经网络，以减少过拟合并提高模型的泛化能力。其基本思想是在训练过程中，随机地“关闭”或“丢弃”网络中的一部分神经元（或它们的连接），以防止模型过于依赖训练数据中的特定部分。

2 Deep Learning

自编码器（AutoEncoder, AE）是一种在半监督学习和非监督学习中使用的人工神经网络。其主要功能是通过将输入信息作为学习目标，对输入信息进行表征学习（representation learning）。自编码器包含编码器（encoder）和解码器（decoder）两部分，它的主要目的是将输入层的数据压缩成较短的格式，即潜在空间的特征表示，并通过解码器将这些特征解码成与原始输入最为相近的形式。【全】一文带你了解自编码器（AutoEncoder） - 知乎 (zhihu.com)

多层感知机（Multilayer Perceptron）：MLP是一种前馈人工神经网络模型，它将输入的多个数据集映射到单一的输出的数据集上。MLP一夜被干掉！MIT加州理工等革命性KAN破记录，发现数学定理碾压DeepMind (qq.com)（这篇还没看）

3 Probabilistic Graphical Model

概率图模型（Probabilistic Graphical Model，PGM）是一种用图结构来描述多元随机变量之间条件独立性的概率模型。能够很好处理概率性推理问题，然而PGM的弊端在于难以应付大规模高维数据。读懂概率图模型：从基本概念和参数估计开始

有向贝叶斯网（Bayesian Networks），也称为贝叶斯网络、信念网络或有向无环图模型（directed acyclic graphical model），是一种概率图模型，最初由Judea Pearl在1985年提出。

贝叶斯网络的基本原理是贝叶斯定理，通过描述不同变量之间的条件依赖关系来表示概率分布。其网络拓朴结构是一个有向无环图（DAG），其中节点表示随机变量，它们可以是可观察到的变量，或隐变量、未知参数等。认为有因果关系（或非条件独立）的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因（parents）”，另一个是“果（children）”，两节点就会产生一个条件概率值。连接两个节点的箭头代表这两个随机变量是具有因果关系或非条件独立。

4 Bayesian Deep Learning

BNN（贝叶斯网络）是一种概率图模型，由代表变量节点及连接这些节点的有向边构成，用于表示和推理变量间的依赖关系和概率分布。它是Bayes方法的扩展，通过图形化的方法描述数据间的相互关系。

Bidirectional Inference Networks（双向推理网络）是一种深度学习模型结构，它结合了前向推理（forward inference）和反向推理（backward inference）的能力。在传统的深度学习模型中，通常只进行前向推理，即数据从输入层经过一系列的网络层，最后到达输出层进行预测或分类。而双向推理网络则允许在模型内部进行反向推理，从而捕获更多的上下文信息和依赖关系。

在Bidirectional Inference Networks中，网络结构可能包含多个层，每个层都可以进行前向和反向推理。这种结构使得模型能够在推理过程中考虑更多的上下文信息，从而提高预测的准确性。此外，双向推理网络还可以通过引入注意力机制（Attention Mechanism）来进一步提高模型的性能，使模型能够关注输入数据中的重要部分。