学习记录-方法基本介绍

学习知识笔记

1.Deep Autoencoder

深度自动编码器（Deep Autoencoder）是一种深度学习模型，属于自动编码器（Autoencoder）的一种变体。自动编码器是一类神经网络模型，它们被设计用于学习数据的有效表示，通常用于降维、特征学习或生成数据。自动编码器由两部分组成：编码器和和解码器。深度自动编码器与传统的自动编码器相比，有更深层次的结构，即它包含多个隐藏层。这使得深度自动编码器能够学习更复杂的数据表示，具有更强大的表达能力。深度自动编码器在学习数据的高级抽象表示方面通常比浅层自动编码器更为有效。深度自动编码器的训练过程涉及将输入数据映射到隐藏表示，然后从这个隐藏表示重建原始输入。通过最小化输入和重建之间的差异，深度自动编码器学习了一种压缩数据的表示，这对于降维或特征学习任务非常有用。

1. 编码器（Encoder）：
   • 特征提取： 编码器的主要功能是将输入数据转换为一种更紧凑、更抽象的表示形式，即编码。这个编码通常是输入数据的低维表示，捕捉了输入数据的主要特征和模式。
   • 降维： 编码器的操作通常导致数据维度的减小，这意味着它可以用更少的信息来表示输入数据。这种降维有助于学习数据的主要特征，并在一定程度上实现数据的压缩。
2. 解码器（Decoder）：
   • 重建： 解码器的主要功能是将编码后的数据映射回原始的输入空间，尽可能准确地重建原始数据。通过这个过程，自动编码器被训练以学习如何保留输入数据中的关键信息。
   • 反向映射： 解码器的操作是编码器的反向操作，它尝试将编码后的表示还原为输入数据的原始形式。这一过程中，解码器负责学习如何逆转编码器的变换。

自动编码器的实例——图像去噪：

1. 训练阶段：
   • 输入数据： 使用包含噪音的图像作为训练数据。
   • 目标： 使自动编码器学会将带有噪音的图像编码为潜在表示，并能够从该潜在表示中还原原始的无噪音图像。
   • 损失函数： 训练自动编码器时，损失函数通常包括输入图像与解码后图像之间的差异，即重构误差。通过最小化这个误差，自动编码器学到的潜在表示能够保留图像中的主要特征，从而对噪音具有鲁棒性。
2. 测试阶段：
   • 输入： 提供带有噪音的测试图像。
   • 输出： 自动编码器使用学到的编码器将输入图像编码为潜在表示，然后使用解码器将其还原为无噪音图像。

这个例子中，自动编码器在训练过程中学到了如何去除图像中的噪音，同时保留图像的重要特征。这种能力在图像处理和计算机视觉任务中非常有用，尤其是在有噪音的环境中，比如低光条件下的图像。

2.Random Forest Classifier

随机森林分类器（Random Forest Classifier）是一种集成学习（Ensemble Learning）方法，用于解决分类问题。它基于决策树（Decision Tree）的集成，通过构建多个决策树并将它们组合起来，提高整体模型的性能和鲁棒性。随机森林的基本思想是通过随机选择样本和特征的子集来训练多个决策树。这样可以降低单个决策树过拟合的风险，并提高模型的泛化能力。具体来说，对于每棵树的建立过程，随机森林会进行以下两个主要的随机性操作：

1. Bootstrap抽样（自助法）： 从原始训练集中通过有放回的抽样，构建多个不同的训练子集。这样一来，某些样本可能在一个子集中出现多次，而另一些样本可能根本不出现。
2. 随机特征选择： 在每次划分决策树的节点时，随机选择一个特征子集作为候选特征，而不是在所有特征中选择。这有助于确保每个决策树都是使用不同的特征进行建立，增加了模型的多样性。

在训练完成后，对于分类问题，随机森林中的每棵决策树会投票，选择被最多树支持的类别作为最终的预测结果。对于回归问题，可以取平均值作为最终的预测结果。随机森林具有许多优点，包括对高维数据和大量训练样本的良好适应性，以及对决策树的过拟合的抵抗力。由于其强大的性能和易于使用的特性，随机森林在实际应用中得到了广泛的应用。

随机森林例子——图像分类：

假设我们有一个包含许多图像的数据集，每个图像都属于不同的类别（例如，猫、狗、汽车、飞机等）。我们想要训练一个模型来自动识别这些图像的类别。在这个场景中，可以使用随机森林进行图像分类：

1. 数据准备： 将图像数据集划分为训练集和测试集。
2. 特征提取： 对图像进行特征提取，这可能涉及到将图像转换为数字表示，例如使用卷积神经网络（Convolutional Neural Network，CNN）提取图像特征。
3. 随机森林训练： 使用训练集训练随机森林。在每个决策树的训练过程中，通过对特征进行有放回的随机抽样，使得每个树都是在不同的特征子集上进行训练的。
4. 集成预测： 随机森林中的每个决策树都可以对图像进行分类。最终的预测结果可以通过投票机制，选择得票最多的类别作为整体随机森林的预测结果。

3.Gaussian interaction profile kernel

Gaussian Interaction Profile (GIP) Kernel 是一种用于表示网络数据的核函数，特别是在生物信息学和网络分析中常被用于预测蛋白质相互作用。这种核函数通常用于支持向量机（Support Vector Machines）等机器学习算法，以识别生物学网络中的模式和相互作用。 数学上，对于两个蛋白质 i 和 j，GIP Kernel 的计算公式通常为：

4.attention mechanism

注意力机制（Attention Mechanism）是一种在计算机科学和人工智能领域中使用的一种技术，用于模拟人类感知和信息处理中的注意力机制。该机制的目的是让模型能够在处理序列数据时更加关注其中特定部分的信息，而不是简单地平等对待所有输入。

在深度学习中，注意力机制常常应用于循环神经网络（RNN）和变体（如长短时记忆网络 LSTM）以及Transformer等模型中。以下是关于注意力机制的一些基本概念：

1. 自注意力（Self-Attention）： 这是注意力机制的一种形式，其中模型可以在同一个序列的不同位置之间分配不同的权重。这使得模型能够关注输入序列中的不同部分，而不仅仅是依赖于固定的权重。
2. 注意力权重（Attention Weights）： 在注意力机制中，每个输入位置都与一个注意力权重相关联。这些权重决定了模型在处理输入时关注的程度，即哪些部分的信息更为重要。
3. 多头注意力（Multi-Head Attention）： 这是一种注意力机制的扩展，允许模型同时关注输入的不同子空间。通过引入多个注意力头，模型能够学习更复杂、更全局的表示。
4. Transformer模型中的应用： Transformer模型中广泛使用了自注意力机制，使得模型能够并行处理输入序列，提高了处理长距离依赖关系的能力。

5.End-to-end model

“End-to-end”（端到端）模型是一种设计思想，其目标是通过一个单一的、整体的模型来解决整个问题，而不是将问题分解成多个独立的子任务，并在不同的阶段使用不同的模块或子系统。这种方法的优势在于简化系统的复杂性，减少手工设计的部分，并允许模型自动地从原始输入到最终输出进行学习。

在一个典型的端到端模型中，输入数据通过一系列的处理层（通常是神经网络层）传递，最终产生目标输出，而所有的学习和决策都在一个统一的框架下完成。这与传统的流水线式方法不同，后者将问题分解为多个子任务，并使用不同的模块或子系统处理每个子任务。

6.Ensemble Methods

集成方法（Ensemble Methods）是一种机器学习技术，通过将多个学习器（模型）组合在一起来提高整体系统的性能和泛化能力。集成方法的基本思想是，组合多个弱学习器，使它们共同协作以产生更强大和鲁棒的模型。这些弱学习器可以是同质的（相同类型的模型）或异质的（不同类型的模型）。

常见的集成方法包括：

1. Bagging（自助聚合）： Bagging通过对训练数据进行有放回的重采样，训练多个相同类型的弱学习器，然后将它们的预测结果进行平均或投票来减小方差，提高模型的稳定性。Random Forest是Bagging的一种常见形式，它使用决策树作为基学习器。
2. Boosting（提升）： Boosting通过对训练数据进行有偏差的重采样，逐步训练一系列弱学习器，每个学习器都专注于纠正前一个学习器的错误。Boosting可以减小偏差，提高模型的准确性。AdaBoost、Gradient Boosting Machine（GBM）、XGBoost和LightGBM等是常见的Boosting算法。
3. Stacking（堆叠）： Stacking将多个不同类型的模型的预测结果作为输入，然后使用另一个模型（元模型或元学习器）来产生最终的输出。Stacking试图通过结合各个模型的优势来提高整体性能。
4. Voting： Voting是一种简单的集成方法，通过对多个模型的预测结果进行投票或平均来进行最终的决策。有硬投票和软投票两种形式，分别是基于少数服从多数和基于预测概率的。

集成方法通常能够在复杂的问题上表现得更好，因为它们能够减小过拟合，提高模型的泛化能力。选择合适的集成方法以及调整其中的参数通常需要根据具体问题的特性和数据情况进行实验和调优。

7.Graph Neural Network

图神经网络（Graph Neural Network，简称GNN）是一种用于处理图结构数据的深度学习模型。与传统的神经网络适用于处理规则网格数据（如图像）不同，GNN专门设计用于处理非规则的、表示为图的数据，例如社交网络、推荐系统、生物信息学中的分子结构等。

GNN的基本思想是通过学习节点之间的关系来提取图结构中的信息。它通过迭代的方式，不断更新节点的表示，使每个节点能够捕捉其邻居节点的信息。这使得GNN能够有效地处理不同规模和结构的图。

9.matrix factorization methods

矩阵分解的目标是将一个大型矩阵分解成两个或多个较小的矩阵，使得它们的乘积近似等于原始矩阵。这种方法常常被用于处理缺失数据、降维、模式识别和推荐系统。

在推荐系统中，矩阵分解方法经常被用来解决用户-物品评分矩阵的问题。这个矩阵包含用户对物品的评分，但通常只有很小一部分元素是已知的，其他的评分需要通过预测或填充来得到。矩阵分解可以将用户-物品评分矩阵分解为用户特征矩阵和物品特征矩阵的乘积，从而能够预测未知评分。

10.semi-supervised learning methods

半监督学习（Semi-Supervised Learning）是一种机器学习方法，它介于监督学习和无监督学习之间。在半监督学习中，训练数据集通常包含一小部分标记样本（有标签的数据）和大量未标记样本（没有标签的数据）。

半监督学习的目标是通过同时利用标记和未标记样本来提高模型的性能。相比于纯粹的监督学习，半监督学习通过更充分地利用未标记数据来改善模型的泛化能力。这在实际应用中很有用，因为通常获得大量标记样本是昂贵且耗时的，但未标记样本往往更容易获取。

半监督学习方法可以分为两大类：

1. 生成式方法（Generative Methods）： 这类方法试图对整个数据分布进行建模，从而学习标记和未标记样本之间的关系。典型的生成式方法包括基于概率图模型的方法，如生成对抗网络（GANs）和隐变量模型。
2. 判别式方法（Discriminative Methods）： 这类方法关注于学习决策边界，即学习一个函数来将不同类别的数据分开。半监督判别式方法通常试图使未标记样本在决策边界附近具有一定的连续性。半监督支持向量机（SVM）和半监督神经网络是这一类方法的代表。

11.Contrastive Learning

对比学习（Contrastive Learning）是一种机器学习方法，主要用于学习表示（feature representations）而无需使用显式的标签。该方法的目标是使相似的样本在表示空间中更加接近，而不相似的样本则更加分散。通过对比学习，模型能够学到数据中的有用结构，从而提高在下游任务中的性能。

对比学习的核心思想是通过最大化相似样本对的相似度，同时最小化不相似样本对的相似度，来学习数据的表示。这通常涉及到将每个样本与其他样本进行比较，以生成正样本对（相似的样本）和负样本对（不相似的样本）。这样的学习过程有助于将相似的样本映射到表示空间中的邻近位置，而不相似的样本则在表示空间中更远离。

12.accelerated attributed network embedding (AANE) algorithm

Accelerated Attributed Network Embedding (AANE)算法是一种用于学习图数据的嵌入表示的方法。与传统的网络嵌入方法不同，AANE专注于结合网络的拓扑结构和节点的属性信息。它的目标是在嵌入空间中将相邻的节点（根据网络拓扑结构）和具有相似属性的节点（根据节点属性）映射到相近的位置。

AANE算法的主要思想包括：

1. 节点表示学习：AANE尝试学习每个节点的低维度表示，以便在嵌入空间中保留网络的结构信息和节点的属性信息。
2. 拓扑结构保持：AANE通过最小化节点之间的拓扑结构差异来保持网络的拓扑结构。它通过调整节点的嵌入向量，使得在嵌入空间中相邻的节点在网络中也是相邻的。
3. 属性相似性保持：AANE还试图在嵌入空间中保持节点的属性相似性。它通过最小化节点的属性相似性和它们在嵌入空间中的距离之间的差异来实现。
4. 加速策略：AANE还提出了一些加速策略，以减少计算成本并提高算法的效率。

13.DeepWalk

DeepWalk 是一种用于学习图数据的节点嵌入表示的算法。它基于无监督的随机游走（random walk）策略，将图结构转化为序列数据，然后利用序列数据进行模型训练，学习节点的低维度嵌入表示。

DeepWalk的基本思想如下：

1. 随机游走：从图中的每个节点开始，进行随机游走，按照一定的步数进行遍历。这些随机游走序列捕捉了图结构中节点之间的局部邻近关系。
2. Skip-gram模型：将随机游走序列作为输入，利用Skip-gram模型进行训练。Skip-gram模型的目标是预测每个节点的邻居节点，从而学习节点的低维度嵌入表示。
3. 嵌入学习：通过训练Skip-gram模型，DeepWalk学习到了每个节点的低维度嵌入表示。这些嵌入向量保留了图结构中节点之间的相似性关系，可以用于后续的节点分类、链接预测等任务。

14.XGBoost (extreme gradient boost)

XGBoost（eXtreme Gradient Boosting）是一种高效的机器学习算法，属于集成学习中的一种梯度提升方法。它在梯度提升框架下实现了一系列的创新，从而在性能和效率上超越了传统的梯度提升方法。

以下是XGBoost的一些主要特点和创新：

1. 正则化：XGBoost在目标函数中引入了正则化项，包括L1正则化（Lasso正则化）和L2正则化（Ridge正则化），以减少模型过拟合的风险。
2. 分裂节点的贪心算法：XGBoost使用一种称为“近似贪心算法”的方法来寻找最佳的分裂节点，通过有效地利用直方图算法来加速特征值的排序和分裂搜索。
3. 并行计算：XGBoost支持并行计算，可以利用多核CPU或者GPU来加速模型的训练过程，使得它在大规模数据集上的训练速度更快。
4. 自定义损失函数：XGBoost允许用户自定义损失函数，以满足不同任务的需求，例如回归、分类、排序等。
5. 缺失值处理：XGBoost能够自动处理特征中的缺失值，并将其归入到最优的分裂方向中，从而使得模型更加鲁棒。
6. 支持分布式训练：XGBoost支持分布式训练，可以在分布式计算环境下进行模型训练，加速处理大规模数据。

15.Adaboost(adaptive boost)

AdaBoost（Adaptive Boosting）是一种集成学习算法，它通过串行训练一系列弱分类器，并将它们组合成一个强分类器来提高整体性能。AdaBoost的主要思想是对训练数据集进行加权，使得后续的弱分类器能够更加关注于先前分类错误的样本，从而纠正错误并提高整体性能。

AdaBoost算法的基本流程如下：

1. 初始化训练样本的权重，使得每个样本的权重相等。
2. 训练一个弱分类器（通常是一个简单的决策树），并根据其在训练集上的性能调整样本的权重。被错误分类的样本的权重会增加，而被正确分类的样本的权重会减少。
3. 根据更新后的样本权重，重复训练弱分类器，并根据其性能调整样本权重。这个过程会进行多轮，直到达到预定的迭代次数或者达到某个性能阈值。
4. 将所有弱分类器组合成一个强分类器，通过加权投票的方式进行分类。

AdaBoost的优点包括简单易用、不易过拟合、对异常值具有鲁棒性等。它在许多分类问题中都表现出色，并且被广泛应用于实际中。然而，AdaBoost对噪声和异常值敏感，可能会导致过度拟合。

16.GBDT (gradient boosting decision tree)

GBDT（Gradient Boosting Decision Tree）是一种集成学习算法，它通过串行训练多个决策树并将它们组合成一个强学习器，用于回归和分类问题。与AdaBoost等算法不同，GBDT通过迭代地训练决策树来最小化损失函数的梯度，从而逐步提高模型性能。

以下是GBDT的基本原理和流程：

1. 初始化：首先，将训练集的目标值作为初始预测值。
2. 迭代训练：对于每一轮迭代，都训练一个新的决策树模型，以减少当前模型在训练集上的损失。每个新的决策树模型是在之前模型的残差（实际值与当前模型预测值之差）上进行拟合。
3. 模型更新：将新训练的决策树模型加到当前模型上，并以一定的学习率（通常小于1）更新模型参数，使得整体模型向梯度方向移动一步。
4. 迭代终止条件：重复上述步骤，直到满足预定的停止条件，例如达到最大迭代次数或者模型性能收敛。

GBDT的优点包括对复杂关系的拟合能力强、不易过拟合、对异常值有一定的鲁棒性等。它在许多领域都取得了良好的效果，例如点击率预测、网页排名、金融风控等。GBDT的代表性实现包括XGBoost、LightGBM和CatBoost等。

17.network consensus projection algorithm

网络共识投影算法是一种用于整合多个异构网络的方法，以便在一个共同的低维空间中表示它们。这个低维空间被认为是共享的，并且能够捕捉到多个网络之间的共性和相似性。

该算法的基本思想包括：

1. 网络嵌入学习：对每个网络进行嵌入学习，将其映射到一个低维空间中。这可以使用各种网络嵌入技术来实现，如DeepWalk、Node2Vec等。
2. 共识学习：在学习到的网络嵌入的基础上，通过一定的共识学习算法，将多个网络的嵌入投影到一个共享的低维空间中。这个共识过程旨在使得在不同网络中相似的节点具有相似的表示。
3. 低维空间整合：在共享的低维空间中，每个网络的节点都被表示为一个低维向量，这些向量被设计成能够捕捉到节点在不同网络中的共性和相似性。

19.Random Walk

随机游走（Random Walk）是一种基本的随机过程，通常用于模拟在图或网络结构中的随机移动。在随机游走中，从图中的一个节点开始，按照一定的概率选择下一个节点，然后从该节点再次按照概率选择下一个节点，以此类推。这样的过程可以用来模拟在网络中的随机探索、传播或者采样。

随机游走的基本原理是：

1. 初始节点选择：从图中的一个节点开始作为初始节点。
2. 下一步节点选择：根据一定的概率分布选择下一个节点。具体的选择方法可以是根据节点的相邻关系（邻接节点）、节点的度数（出度、入度）、节点的特征等。
3. 重复步骤2：重复以上步骤，直到达到预定的步数或者满足停止条件。

随机游走常用于图数据中的很多应用，例如图嵌入学习（如DeepWalk、Node2Vec等）、图分析、社交网络分析、推荐系统等。通过模拟节点之间的随机移动，随机游走可以帮助我们理解图中的结构和特性，发现隐藏在图中的模式和信息。

20.principal component analysis

主成分分析（Principal Component Analysis，PCA）是一种常用的数据降维技术，用于将高维数据集投影到一个低维空间中，同时尽量保留数据集的原始信息。PCA通过寻找数据中的主要方向（主成分），并将数据投影到这些方向上，实现了数据的降维和特征提取。

PCA的基本原理是通过计算数据的协方差矩阵或相关矩阵，然后找到协方差矩阵的特征向量（主成分），并将数据投影到这些主成分上。投影后的数据保留了尽可能多的原始数据的方差，因此在保持数据信息的同时实现了降维。

PCA的步骤如下：

1. 数据中心化：对原始数据进行中心化处理，即将每个特征的均值减去对应特征的平均值，使得数据的均值为0。
2. 计算协方差矩阵：根据中心化后的数据计算协方差矩阵或相关矩阵。
3. 特征值分解：对协方差矩阵进行特征值分解，得到特征值和特征向量。
4. 选择主成分：按照特征值的大小选择前k个特征值对应的特征向量作为主成分，其中k为降维后的维度。
5. 投影：将原始数据投影到选定的主成分上，得到降维后的数据。

PCA在数据降维、可视化、特征提取等领域广泛应用，尤其在处理高维数据和减少冗余信息方面具有很大的优势。

21.relational graph con­volutional networks

关系图卷积网络（Relational Graph Convolutional Network，R-GCN）是一种深度学习模型，用于处理图数据，特别是那些具有复杂关系的图数据，例如社交网络、知识图谱等。在这些图数据中，节点之间的关系可能具有不同的类型和强度，因此传统的图卷积网络往往难以有效地捕捉到这种多样性。

R-GCN 的设计目的就是解决这个问题。它通过在图上执行卷积操作来学习节点的表示，同时考虑到节点之间的关系。这样，R-GCN 能够更好地捕捉节点之间的复杂关系，并将这些关系纳入节点表示的计算过程中。通常，R-GCN 使用了不同的权重矩阵来表示不同类型的关系，以此来区分不同类型的关系对节点表示的影响。

R-GCN 的一个典型应用是在知识图谱中进行推理和链接预测。在这样的场景下，节点代表实体（如人物、物品、概念等），边代表实体之间的关系（如“父子关系”、“包含关系”等），R-GCN 可以通过学习节点的表示来预测未知的关系或属性，或者执行其他类型的知识推理任务。

总的来说，R-GCN 是一种强大的图神经网络模型，适用于处理具有复杂关系的图数据，并已在诸如知识图谱推理、社交网络分析等领域取得了成功的应用。

22.perturbation-based explanation method

扰动性解释方法（perturbation-based explanation method）是一种用于解释机器学习模型决策过程的技术。这种方法的基本思想是对输入数据进行微小的扰动，然后观察这些扰动对模型输出的影响，从而推断模型对输入的哪些特征或者部分起到了关键作用。

常见的扰动性解释方法包括：

1. 特征重要性分析（Feature Importance Analysis）：通过评估在给定输入下，模型对每个特征的重要性进行排序，从而确定哪些特征对模型的决策起到了关键作用。

2. 梯度基于方法（Gradient-based Methods）：这些方法通过计算模型输出相对于输入的梯度来理解模型对输入的敏感度，从而识别对模型输出具有最大影响的输入特征。

3. 输入空间采样方法（Input Space Sampling Methods）：通过在输入空间中生成样本，并观察这些样本的模型输出变化，来推断模型对输入的敏感度。

这些扰动性解释方法可以帮助理解模型的行为，识别模型的潜在偏差或者帮助调试模型。然而，需要注意的是，不同的解释方法可能会产生不同的解释结果，因此在使用时需要谨慎评估和解释结果。

23.用于预测分子属性或生物活性的模型

这四个模型分别是用于预测分子属性或生物活性的模型，它们在化学和药物设计领域中具有重要的应用。以下是对每个模型的简要介绍：

1. ESOL (Estimated Solubility):

   • ESOL 模型用于预测分子的溶解度。分子的溶解度是指在特定条件下分子在溶剂中的溶解度，对于药物设计和药物候选化合物的开发至关重要，因为它与药物的吸收、分布、代谢和排泄等性质密切相关。
   • ESOL 模型基于分子结构和其他描述符，如分子的大小、极性等，通过机器学习方法预测分子的溶解度。

2. Mutagenicity:

   • Mutagenicity 模型用于预测分子的致突变性，即分子对生物体遗传物质的突变作用。突变是细胞遗传物质的改变，可以导致细胞的功能异常，从而引发疾病，如癌症等。
   • Mutagenicity 模型通过分析分子的结构特征和其他相关属性，如毒性基团的存在等，来预测分子的致突变性。

3. hERG (Human Ether-a-go-go Related Gene):

   • hERG 模型用于预测分子对 hERG 通道的亲和力。hERG 通道是一种电压门控的钾离子通道，在心脏细胞中起着重要的调控作用。一些药物可能会影响 hERG 通道的功能，导致心脏QT间期延长，从而引发心律失常。
   • hERG 模型通过分析分子的结构和其他属性，如药物的离子化状态、电荷等，来预测药物与 hERG 通道的相互作用。

4. BBBP (Blood-Brain Barrier Penetration):

   • BBBP 模型用于预测分子是否能够穿过血脑屏障。血脑屏障是一种生物屏障，它限制了外部物质进入大脑，保护了大脑免受外界有害物质的影响，但也限制了药物进入大脑治疗神经系统疾病。
   • BBBP 模型通过分析分子的结构和其他相关属性，如脂溶性、电荷等，来预测分子是否能够穿过血脑屏障。

这些模型在药物设计和化学领域中有广泛的应用，可以帮助研究人员评估和优化分子的属性，从而加速新药物的发现和开发过程。