快乐江湖的博客

线性回归：线性回归假设输出变量是若干输入变量的线性组合，并根据这一关系求解线性组合中的最优系数。具体来说，线性回归的作用是求得一组参数wi,i=0.1.,,,.nwi​,i=0.1.,,,.n，使预测输出可以表示为以这组参数为权重的实例属性的线性组合，引入常量x0=1x_{0}=1x0​=1，线性回归试图学习的模型就是当实例只有一个属性时，输入和输出之间的关系就是二维平面上的一条直线；

随着深度学习的最新进展，分子表示学习——自动发现分子结构特征表示的方法，引起了化学家和机器学习研究人员的广泛关注。深度学习可以促进各种下游应用，包括生物性质预测、化学反应预测等。尽管当前的SMILES字符串或分子图分子表示学习算法（分别通过序列建模和图神经网络）已经取得了令人鼓舞的结果，但目前尚无工作将两种方法的能力整合起来，以更好地保留分子特征（例如，原子团、化学键）以进行进一步的改进。在本文中，我们提出了GraSeq，这是一个用于分子性质预测的联合图和序列表示学习模型。

分子机器学习（ML）对于高效预测分子性质和药物发现具有潜力。然而，标记的分子数据可能昂贵且耗时。由于标记数据有限，监督学习ML模型通常很难推广到巨大的化学空间。在这项工作中，我们提出了MolCLR：通过图神经网络（GNNs）进行分子表示的对比学习，这是一个自监督学习框架，利用大量未标记数据（约10M个唯一分子）。在MolCLR预训练中，我们构建分子图并开发GNN编码器来学习可微分表示。原子屏蔽、键删除和子图移除。对比估计器最大化了来自同一分子的增强的一致性，同时最小化了不同分子的一致性。

近年来，随着人工智能(AI)方法的发展，计算机辅助药物设计(CADD)得到了迅速发展。有效的分子表达和准确的性能预测是计算机辅助设计(CADD)工作流程中的关键任务。在这篇综述中，我们总结了当前深度学习(DL)方法在分子表示和性质预测方面的应用。我们根据分子数据的格式(1D、2D和3D)对DL方法进行分类。此外，我们还讨论了一些常见的DL模型，如集成学习和迁移学习，并分析了这些模型的可解释性方法。我们也强调了DL方法在分子表征和性质预测方面的挑战和机遇。

重点研究的是属性图。给定一个属性图GAVEXGA​VEXVv1v2vnVv1​v2​vn​表示节点集合（nnn个节点分为kkk类）EE表示边集合用于连接节点图中的每个节点都附加d′d^{\prime}d′-维度属性，因此X∈Rn×d′X∈Rn×d′表示节点属性矩阵A∈Rn×nA∈Rn×n表示邻接矩阵，y∈Rny∈Rn表示节点的真实标签见原文。

图结构化数据上的可推广、可转移和鲁棒表示学习仍然是当前图神经网络（GNN）面临的挑战。与为图像数据开发的卷积神经网络（CNN）不同，对于GNN来说，自监督学习和预训练的研究较少。在本文中，我们提出了一种图对比学习（GraphCL）框架，用于学习图数据的无监督表示。我们首先设计了四种类型的图增强，以整合各种先验知识。然后，我们系统地研究了各种图增强在多个数据集上的影响，在四种不同的设置下进行了研究：半监督、无监督和迁移学习以及对抗攻击。

图：表示了一组实体（节点VVV之间的关系（边EEE为了进一步描述每个节点、边或整个图，我们可以在图的每个部分存储信息可以将信息以标量或嵌入的形式存储在每个图节点（左侧）或边（右侧）上我们还可以通过为边关联方向性（有向、无向）来进一步特化图边可以是有向的，其中边eee具有源节点vsrcv_{src}vsrc​和目标节点vdstv_{dst}vdst​。在这种情况下，信息从vsrcv_{src}vsrc​流向vdstv_{dst}vdst​。

"孪生网络已成为最近各种无监督视觉表示学习模型中常见的结构。这些模型通过最大化同一图像的两个增强版本之间的相似性来学习表示，同时遵循一定条件以避免崩溃解。在本文中，我们报告了令人惊讶的实证结果，即简单的孪生网络即使不使用以下任何一项也可以学习到有意义的表示：(i) 负样本对，(ii) 大批量数据，(iii) 动量编码器。我们的实验证明了该损失和结构确实存在崩溃解，但停梯度操作在防止崩溃中起到了重要作用。我们提出了停梯度的影响假设，并进一步展示了验证该假设的概念验证实验。

如下图是一个简单的人工神经网络，从左至右依次为输入层、隐藏层和输出层，图中的每一个圆圈为人工神经元每个神经元可以接受一个或多个输入，并对输入的线性加权（连线表示权重）进行非线性运算以产生输出。例如下图中，x_{1}^{`}=f(x_{1}, x_{2}, x_{3}, 1)x 1‘​ =f(x 1​ ,x 2​ ,x 3​ ,1)，通常表示为y=wx+by=wx+b，bb称之为偏置项

本节会介绍一个非常经典的案例——，该案例在机器学习中也常常提及。它代表了一种非常简单的线性回归问题，而这种线性回归问题其实就是一个，所以我们可以利用这个案例来对深度学习做以初步认识。

多层感知器：多层感知器包含一个或多个在输入节点和输出节点之间的隐藏层，除了输入节点外，每个节点都是使用非线性激活函数的神经元。而在不同层之间，多层感知器具有全连接性，即任意层中的每个神经元都与它前一层中的所有神经元或者节点相连接，连接的强度由网络中的权重系数决定。多层感知器是一类前馈人工神经网络。网络中每一层神经元的输出都指向输出方向，也就是向前馈送到下一层，直到获得整个网络的输出为止。

(chao票数据集)：这是从zhi币鉴别过程中的图像里提取的数据，用来预测chao票的真假的数据集。本数据集所给数据并非是原始图像数据，而是经过小波变化后的等价数据该数据集中含有1372个样本，每个样本由5个数值型变量构成，4个输入变量和1个输出变量这是一个二元分类问题第一列：图像经小波变换后的方差(variance)(连续值)，用于描述分布的离散的程度第二列：图像经小波变换后的偏度(skewness)(连续值)，用于描述分布的偏移中心的程度第三列：图像经小波变换后的峰度。

sigmoid函数在早期是非常流行的，因为早期的人工神经网络受到生物神经网络的启发，神经元要么完全激活要么完全不激活（就像生物神经元）的想法很有吸引力。然而，它却是导致梯度消失问题的⼀个常见的原因。：梯度爆炸往往可能是由于不良初始化导致，没有机会让优化器收敛。如下图，生成100个高斯随机矩阵，并将它们与某个初始矩阵相乘，由于我们选择的尺度（的形式，当层数越深的时候，梯度将以指数形式传播，所以。如下图，k=3时就称之为3折交叉验证。标准化(Normalization)是指争议，可以通过不同的激活函数算出。

损失函数（loss function）：深度学习中所有算法的目标都是为了最小化或最大化一个函数，称之为损失函数或者是目标函数、代价函数，损失函数是衡量模型的效果苹果

优化算法：对于深度学习问题，我们通常会先定义损失函数。一旦我们有了损失函数，我们就可以使用优化算法来尝试最小化损失。在优化中，损失函数通常被称为优化问题的目标函数。优化算法对于深度学习⾮常重要。一方面，训练复杂的深度学习模型可能需要数小时、几天甚至数周。优化算法的性能直接影响模型的训练效率。另一方面，了解不同优化算法的原则及其超参数的作用将使我们能够以有针对性的方式调整超参数，以提高深度学习模型的性能。深度学习中，常见的优化算法有梯度下降算法指数加权平均算法动量梯度下降RMSprop算法。

TenosrBoard是Google开发的一个机器学习可视化工具。记录损失变化、准确率变化等记录图片变化、语音变化、文本变化等，例如在做GAN时，可以过一段时间记录一张生成的图片绘制模型。

欠拟合（underfitting）：训练误差和验证误差都很严重，他们之间仅有一点差距。这意味着，模型可能过于简单，也即表达能力差过拟合（overfitting）（最为常见）：模型的训练误差要明显低于验证误差。当然注意，即便是最好的预测模型，它在训练数据上的表现往往⽐在验证数据上好得多。最终，我们通常更关⼼验证误差，⽽不是训练误差和验证误差之间的差距前面也说过，在进行模型选择时，不能一味地认为训练误差越小的模型越好，因为此时可能已经到达过拟合状态，此时它在测试数据上误差反而会变大，所以要选择损失函数。

如下，利用OpenCV拿到三个通道的tensor。抑制高频部分（噪声），保留低频部分（连续色块）增强高频部分，减少模糊，但同时噪声也会被增强。例如，使用OpenCV操作。图像局部特性的不连续性。

卷积神经网络CNN：CNN是一种以卷积层为主的深度神经网络层次结构作用输入层CNN的原始输入，可以是原始或预处理后的像素矩阵卷积层参数共享、局部连接、利用平移不变性从全局特征图中提取局部特征激活层将卷积层的输出结构进行非线性映射池化层进一步筛选特征，可以有效减少后续网络层次所需要的参数数量全连接层将多维特征展开成二维特征，此时通常会对应类别或回归值。

在数学中，卷积是通过两个函数fff和www生成第三个函数sss的数学算子。假设有一个函数ftf(t)ft用来表示在时刻ttt发生的某一新闻对股价的影响，且时刻ttt的股价不仅被该新闻所影响，还会被之前每天发生的相关新闻所影响。显然，距离ttt时刻越近的新闻与股价就越相关，这里使用加权函数wt−aw(t-a)wt−a对新闻赋予不同权重，其中aaa表示发生该新闻的时间点，t−at-at−a就表示该新闻发生时刻aaa与当前时刻ttt的时间间隔。

对于A而言，每个元素由原始输入O中（3,3）区域得到，所有元素由O中（7,7）区域得到，A中一个（3,3）区域的特征由O中（5,5）特征映射而来，所以对于三个卷积层的输出结果A、B、C来说，感受野依次为（3,3）、（5,5）、（7,7）第二层的输出仅有一个元素，该元素是由第一层输出结果中（3,3）特征得到；比如上图中的第三层结果C，C由中的元素由B中的3×3区域得到，B中的3×3区域需要A中的5×5区域得到，而A中的5×5区域由原始输入中的7×7区域得到，所以对于C中元素而言，其感受野大小为7×7。

例如对于一个二分类问题，最后的输出结果会是一个2×1的向量，向量中的每个值对应各个类别的得分，然后将 此输出值送给分类器（例如softmax分类器）假设得到了三张特征图，那么在进入全连接层时需要把这4×4×3的矩阵展开成一个48×1的向量此时这48×1向量中的每一个元素就是输入层的一个神经元，然后根据我们计算得到的权重矩阵，对其进行加权求和，就得到了每个分类的得分然后剩余部分和我们之前所学的就一样了，根据softmax函数进行概率计算。

对于普通卷积来说，如果输入特征为（H×W×C），然后应用C。

LeNet提出之后，卷积神经网络在CV和ML中就小有名气了，但是那是它并没有开始主导这些领域，这是因为虽然LeNet在小数据集上取到了很好的效果，但是在更大、更真实的数据集上训练卷积神经网络的性能和可行性还有待研究，事实上在上世纪90年代和2012年大部分时间里，神经网络往往被其他机器学习方法超越，例如非常出名的SVM但在CV中，神经网络和传统机器学习算法仍然是有很大区别的，例如传统机器学习方法并不会把原始像素直接作为输入，而是会有一个非常重要的步骤——特征工程。

cifar10数据集：CIFAR-10数据集是8000万微小图片的标签子集数据集下载链接数据集由6万张32*32的彩色图片组成，一共有10个类别。每个类别6000张图片。其中有5万张训练图片及1万张测试图片。使用可进行下载如下，下载后会生成5个训练块文件和1个测试块文件，每一个块文件10000张图片这种文件并非图像文件，为了后续更好的训练，且能查看到训练过程中的图像变化，所以我们需要把它们转换为图像文件，转换代码如下。

数据集下载Sebastien Marcel Static Hand Posture Database提供了6种手势姿势，如下图，分别代表ABCfivepointV图片格式为.ppmPBM 是位图（bitmap），仅有黑与白，没有灰PGM 是灰度图（grayscale）PPM 是通过RGB三种颜色显现的图像（pixmaps）数据下载并解压后，格式如下。

生成模型：在概率统计理论中，生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。为了训练一个生成模型我们首先要收集在特定领域下的大量数据（例如几百万张图片、语料等等），然后训练整个模型让其和这些数据十分相似GAN(Generative Adversial Nets，生成式对抗网络)：这是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。生成模型（Generative Model）和辨别模型（Discriminative Model）的互相博弈学习产生相当好的输出。

MNIST数据集：MNIST是个手写数字图片集，每张图片都做了归一化处理，大小是28x28，并且是灰度图像，所以每张图像格式为1x28x28数据集下载地址包括如下四个文件含义如下类别文件名描述训练集图片包含60000个样本训练集标签包含60000个标签测试集图片包含10000个样本测试集标签包含10000个样本当然中也内置了这个数据集，可以通过如下代码从网络上下载root：表示数据集待存放的目录train：如果为true将会使用训练集的数据集（），如果为false。

CycleGAN：它是一种实现图像风格转换功能的GAN网络。其实早在CycleGAN出现之前，就存在着Pix2Pix这样的模型进行图像风格转换，但是它的局限性很大，因为要求所输入的图片必须是成对的（paired），但在现实中这种图像很难收集。而CycleGAN不要求图像成对(unpaired)，所以非常实用例如下图输入XXX的图片，可以是任意的，甚至是自己画的，然后YYY的图片是梵高风格的画像，CycleGAN训练之后就会把任何输入的图像转化为梵高风格的画像。

CelebA数据集：CeleA是香港中文大学的开放数据，包含10177个名人身份的202599张图片，并且都做好了特征标记，这对人脸相关的训练是非常好用的数据集数据集官网百度网盘链接这个数据集做了很多的标记，所以非常实用有如下40种属性01 5_o_Clock_Shadow 胡子，（清晨刮脸的人傍晚已长出的短髭 ） -102 Arched_Eyebrows 柳叶眉 103 Attractive 有魅力的 104 Bags_Under_Eyes 眼袋 -105 Bald 秃头的 -1。

在无监督学习中，通过编码-解码过程学习输入数据的表示，而不需要标记数据。并且，其降噪方面通过强制它从损坏的版本重建原始输入，进一步增强了它学习有意义的数据表示的能力。在监督学习中，它学习到的表示可以用作下游监督任务的特征，例如分类或回归。其最后一层通常替换为分类器或回归器，自动编码器的权重根据特定任务的标记数据进行微调。因此，SDAE 可以被视为无监督学习和有监督学习的混合体，其中无监督组件为数据提供有意义的表示，而有监督组件将这些表示用于特定任务。每个自编码器的输出都作为下一个自编码器的输入。

Python是一门面向对象的解释型语言，由于非常灵活且具有丰强大的库，所以在机器学习、深度学习等领域有着广泛应用。Python这门语言内容也是比较多的，但是如果你只想要用作人工智能领域，那么目前只学习其基础部分是完全够用的，所有有关Python的一些基础部分知识请移步下面的专栏Python基础教程注意。

文章目录一：Numpy了解二：Numpy之Ndarray对象三：Numpy之数据类型一：Numpy了解Numpy是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，它提供了许多高效的数值编程工具。其安装方法多种多样，具体看见菜鸟教程安装好后，常用导入方法有三种import numpyimport numpy as npfrom numpu import *# 如果只想要导入特定功能from numpy import reshape # 转置功能输入下面语

部分参考：菜鸟教程文章目录一：生成数组（1）由底层ndarray构造器创建：np.arrary()（2）其他创建方法（3）特殊数组创建方法二：数组属性（1）N维数组-ndarray（2）轴的概念（axis）（3）ndarray属性三：索引和切片（1）基本操作（2）高级操作一：生成数组（1）由底层ndarray构造器创建：np.arrary()上一节简单说明了array()函数的用法，其完整形式如下numpy.array(object, dtype = None, copy = True, or.

文章目录一：基本索引和切片二：高级索引和切片（1）整数数组索引Numpy数组创建好之后，其最常用、最重要的操作就是索引和切片。下面的例子中以二维、三维数组居多，这样更具代表性提前说明：Numpy中索引时，使用,区分维度一：基本索引和切片①：最基本的索引访问a = np.random.randint(0, 10, size=[3, 3, 3]) # 三维数组print(a)print("-----------")print(a[0])print("-----------")print(

文章目录一：关于多维数组的索引和切片一：关于多维数组的索引和切片关于多维数组的索引和切片，其实在上一节中已有谈过，这里再补充一些内容①：假设有一个三维数组，那么a[0][0][0]的和a[0, 0, 0]表达的意思一致a = np.random.randint(0, 10, size=[3, 3, 3]) # 三维数组print(a[0][0][0])print(a[0, 0, 0])②：如果希望选中的是列，可以这样写a = np.random.randint(0, 10, siz

文章目录一：数组类型（1）Numpy中的数组类型（2）类型转换一：数组类型（1）Numpy中的数组类型主要类型如下表（2）类型转换

文章目录一：Pandas了解二：Pandas基本数据结构三：Series类型一：Pandas了解Pandas是基于Numpy的一种工具，该工具是为了解决数据分析任务而建立的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需要的工具，也提供了大量使我们能够快速处理数据的函数和方法。另外：Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数据。Pandas 可以对各种数据进行运算操作，比如归并、再成形、选择，还有数据清

文章目录一：基本数据操作（1）索引操作A：直接索引B：使用iloc进行索引（2）赋值操作（3）排序操作A：DataFrame①：按内容排序②：按索引排序B：Series二：数据运算A：算数运算一：基本数据操作（1）索引操作A：直接索引这里的直接索引和Numpy中有所区别，也即不能执行如a[0, 1]这样的操作，正确的写法是先列再行，如下stock_change = np.random.normal(0, 1, (20, 5))stock_index = ["股票{}".format(i) for

文章目录一：什么是Matplotlib二：实现一个简单的Matplotlib图三：Matplotlib图像结构四：Matplotlib三层结构（1）容器层（2）辅助显示层（3）图像层一：什么是MatplotlibMatplotlib 是 Python 2D-绘图领域使用最广泛的套件。它能让使用者很轻松地将数据图形化，并且提供多样化的输出格式Mat是指Matrix：表示矩阵（二维表）plot：画图lib是指library：表示库不管是Matplotlib、又或者是MatLab，使用他们的一个