刘文凯的博客

稀疏变分高斯过程（Sparse Variational Gaussian Processes, SVGP）是一种高效的高斯过程（GP）近似方法，它使用一组称为引入点的固定数据点来近似整个数据集。这种方法大大减少了高斯过程模型的计算复杂度，使其能够适用于大数据集。下面是SVGP的详细数学过程。在标准高斯过程中，给定数据集xiyii1N{(xi​yi​i1N​，目标是学习一个映射fff，其中f∼GPmkf∼GPmkmmm是均值函数，kkk。

V1 和 V4：V1（Primary Visual Cortex）和 V4（一个位于腹侧视觉通路中的区域）是视觉系统中的两个关键区域。V4：A region in the ventral visual pathway（腹侧视觉通路中的一个区域），位于颞叶和枕叶之间，是视觉系统中的一个重要区域。V1：Primary Visual Cortex（主视觉皮层）是大脑皮层的一个区域，位于枕叶后上方，是视觉信息最早到达和最基本处理的区域。这种传播可以是兴奋性的（激活下一个神经元）或抑制性的（抑制下一个神经元）。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。

fMRI中的多变量模式分析(MVPA)已被用于从分布的皮层激活模式中提取信息，这在传统的单变量分析中可能无法检测到。然而，对于fMRI中MVPA的物理和生理基础以及空间平滑对其性能的影响知之甚少。一些研究已经解决了这些问题，但他们的调查仅限于3岁时的视觉皮层，结果相互矛盾。在这里，我们使用超高场(7 T)功能磁共振成像来研究空间分辨率和平滑对语音内容(元音)解码和说话者身份的影响。

强化学习从人类反馈中学习（RLHF，Reinforcement Learning from Human Feedback）是一种将强化学习应用于优化语言模型的方法。传统的强化学习方法通常使用奖励函数作为反馈信号来指导模型学习，但在某些任务中，设计合适的奖励函数可能非常困难或耗时。RLHF的目标是通过人类提供的反馈来改进模型，从而缓解奖励函数设计的挑战。chatgpt等语言模型均用了这一方法。

MRI（核磁共振成像）是一种医学成像技术，用于获取人体内部结构的详细图像。MRI利用核磁共振现象来生成图像，核磁共振是一种基于原子核的物理现象。MRI成像的原理涉及到原子核的自旋和磁共振的概念。原子核具有自旋，类似于地球围绕自转的自旋。在没有外部磁场的情况下，原子核的自旋方向是随机的。然而，当一个物体被放置在强大的磁场中，如MRI机器中的大型磁体，原子核的自旋会趋向于与磁场方向平行或反平行排列。在MRI过程中，医生会将患者放置在强磁场中，使得患者体内的原子核自旋与该磁场对齐。然后，医生会通过向患者体内施加辅

预测误差敏感性（Sensitivity to Prediction Errors）：损失函数应该对预测误差敏感，即当预测结果与真实值之间的差异较大时，损失函数的值应该相应增加。损失函数（Loss Function）是在机器学习和优化问题中使用的一个函数，用于衡量模型预测结果与真实值之间的差异或误差。损失函数的选择是根据具体问题和任务的特点而定，不同的问题可能需要不同的损失函数。学习率决定了每次参数更新的步长，过大的学习率可能导致参数在损失函数的最小值附近来回震荡，过小的学习率则可能导致收敛速度过慢。

当结合扩散模型和深度学习时，一种常见的方法是使用卷积神经网络（Convolutional Neural Network，简称CNN）来学习扩散过程中的模式和规律。以下是一个简单的例子，使用Python和PyTorch来实现扩散模型与深度学习的结合。这个代码实现了一个使用卷积神经网络（CNN）结合扩散模型的预测模型。具体来说，它使用CNN学习了扩散模型中的温度分布变化规律，并通过训练来预测给定初始温度分布下的最终温度分布。

强化学习是一种机器学习方法，旨在让智能体通过与环境的交互学习如何做出最优决策以最大化累积奖励。在强化学习中，智能体通过尝试不同的行动并观察环境的反馈（奖励或惩罚）来学习。它不依赖于预先标记的训练数据，而是通过与环境的实时交互进行学习。强化学习的核心概念包括以下几个要素：智能体（Agent）：执行动作并与环境进行交互的学习主体。环境（Environment）：智能体所处的外部环境，它对智能体的动作做出反应，并提供奖励或惩罚信号。

例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了基于pytorch使用特征图输出进行特征图可视化的方法特征图输出就是某个图像（序列）经过该层时的输出以下是本篇文章正文内容以上就是今天要讲的内容。

例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了获取深度学习模型权重或者某一层特征输出的方法，包括使用hook机制。特征图输出就是某个图像（序列）经过该层时的输出以下是本篇文章正文内容以上就是今天要讲的内容。

基于梯度上升的可视化是一种常用的技术，用于理解卷积神经网络（CNN）中的卷积核是如何对输入图像进行特征提取的。该方法可以通过最大化卷积层输出的激活值来生成图像，从而使得卷积核对特定特征更加敏感。以上代码均经过本人亲测可用。

它通过交替的E步骤（Expectation，期望）和M步骤（Maximization，最大化）来最大化似然函数。它通过交替的E步骤（Expectation，期望）和M步骤（Maximization，最大化）来最大化似然函数。其基本思想是，在每次迭代中，通过已知的参数值计算出潜在变量的期望值（E步骤），然后用这些期望值来最大化完全数据的似然函数（M步骤）。这个步骤使用E步骤中计算得到的潜在变量的期望值。M步骤（Maximization）：使用E步骤中计算得到的数据点的分配概率，更新高斯分布的均值和方差。

导入必要的库和模型：首先，你需要导入相关的库，如 PyTorch、NumPy 和 OpenCV，并加载已经训练好的 CNN 模型。我们使用Grad-CAM生成类激活图（CAM），并将其应用于原始图像上，以可视化定位到的对象区域。准备输入图像：选择一张输入图像作为输入，并将其进行预处理，使其符合模型的输入要求。加权求和：将每个特征图通道与其对应的权重相乘，并将它们加权求和，得到最终的热力图。前向传播：将预处理后的图像输入到 CNN 模型中，进行前向传播，获取模型的输出。

反之，如果 label 表示这两个样本是不同类别的，我们希望 euclidean_distance 较大，因为不相似的样本应该相隔较远。对比学习的核心思想是通过最大化相似样本之间的相似性，并最小化不相似样本之间的相似性来训练模型。因此，margin 控制了相似性的门槛，较小的 margin 值会鼓励更严格的相似性定义，而较大的 margin 值会放宽相似性的限制。通过这种方式，我们可以指定哪些样本是相似的（label=0），哪些样本是不相似的（label=1）。用于指定相似性的门槛。

定义异构图的元数据字典 meta_dict，其中 ‘n1’ 和 ‘n2’ 分别表示两种节点类型，而 (‘n1’, ‘e1’, ‘n2’) 表示从类型 ‘n1’ 的节点到类型 ‘n2’ 的节点有一条边，这条边的索引和权重分别为 edge_index_e1 和 edge_weight_e1。edge_index_e2=torch.flip(edge_index_e1, (0,)) 创建逆向的边，由于是二部图无向图所以需要。定义异构元数据列表 meta_list，其中包含所有节点类型和边类型的名称信息。

异构图介绍异构图神经网络简介异构图神经网络任务介绍Heterogeneous Graph Neural Network (HetGNN)Relation-aware Graph Convolutional Networks (R-GCN)Heterogeneous Information Network Embedding (HINE)Heterogeneous Graph Attention Network (HAN)Graph Transformer Networks for Hetero

安装pytorch报错 ERROR: torch has an invalid wheel, .dist-info directory not found，一行命令解决

目录所用工具数学方程模型搭建所有实现代码参考文献今天第一天接触PINN，用深度学习的方法求解PDE，看来是非常不错的方法。做了一个简单易懂的例子，这个例子非常适合初学者。所用工具使用了python和pytorch进行实现python3.6toch1.10数学方程使用一个最简单的常微分方程：f′(x)=f(x)(1)f(x)=0(2)f'(x) = f(x) \hspace{2cm}(1) \\f(x) = 0 \hspace{2.6cm}(2)f′(x)=f(x)(1)f(x)=

基于pytorch使用实现CNN 如何使用pytorch构建CNN卷积神经网络本文是一个基于pytorch使用CNN在生物信息学上进行位点预测的例子基于pytorch实现CNN，基于CNN进行位点预测，将CNN代码进行封装，可以非常简单的使用代码，基于最简单的特征提取方法。

从图的基础知识开始介绍，本文包括 DeepWalk LINE SDNE Node2vec Struc2vec等几个重要的Graph Embedding 方法，对随机游走、skipgram都做了一定的解释。只要给定d维度，而由神经网络自动图中节点的embedding这一过程，就叫做Graph Embedding。

在任意一个顶点，遍历者将以概率1-a游走到这个顶点的邻居顶点，以概率a随机跳跃到图中的任何一个顶点，称a为跳转发生概率，每次游走后得出一个概率分布，该概率分布刻画了图中每一个顶点被访问到的概率。（1）赌徒在赌场赌博，赢的概率是p，输的概率1-p，每次的赌注为1元，假设赌徒最开始时有赌金1元，赢了赌金加1元，输了赌金减1元。假设在我们的文本序列中有5个词，[“the”，“man”，“loves”，“his”，“son”]。进一步，假设给定中心词的情况下，背景词之间是相互独立的，公式可以进一步得到。

摘要： 本文设想一种可以拥有自我意识的网络结构，其基本思想是，人类的自我意识来自于自我思考可以总结为自我提问-自我检索-自我汇总-自我回答，基于此本文在一般神经网络的基础上提出一种可以模拟自我思考的网络结构，模型整体架构包含外界输出层-自我思考层-外界输出层。自我思考层设计的主要思路是通过提前训练好记忆网络(Memory network system)，将记忆网络及其多个副本通过交流网络(Communication network system)进行合并交流，以模拟实现基础的自我思考，而合并交流的结果超过某

目录所用工具数学方程模型搭建所有实现代码结果展示参考文献今天第二天接触PINN，用深度学习的方法求解PDE，看来是非常不错的方法。做了一个简单易懂的例子，这个例子非常适合初学者。跟着教程做了一个小demo, 大家可以参考参考。本文代码亲测可用，直接复制就能使用，非常方便。所用工具使用了python和pytorch进行实现python3.6toch1.10数学方程使用一个最简单的常微分方程：{ut+u×ux−w×uxx=0(1)u(0,x)=−sin(πx)(2)u(t,1)=0(3)u(

在网上找了一个wgan的实现代码，在本地跑了以下，效果还可以，我把它封装成一个函数了，感兴趣的朋友可以用一下不过这个gan生成的是一维数据，对于图片数据可能需要对代码进行一些改变import numpy as npimport pandas as pdimport torchimport torch.autograd as autogradimport torch.nn as nnimport torch.optim as optimtorch.manual_seed(1)from skl

初入pytorch的门，感觉pytorch和tensorflow的思路还是有点区别的，做了一个小的例子，算是开始入门吧 pytorch实现卷积神经完了过 pytroch实现CNN这里写出来，供大家入门使用图片数据：链接：https://pan.baidu.com/s/1fF6wSSj7x19aAi2dhPvCwA提取码：0sk3代码：import torchvisionfrom torchvision import transformsfrom torch.utils import data

pytorch报错：ValueError: expected sequence of length 3573 at dim 0 (got 768)原因：1、纬度不一致2、数据类型为panda.DataFrame修改：1、讲数据纬度改为一致2、data=np.array(data)

今天发现 一个非常简单易用的超参数优化包 (李沐大神开发的），简单的使用了以下，效果不错。说明支持的模型： 机器学习模型； 深度学习模型； 模型集成； 深度学习模型集成；等等 简单应用 超参数调优// 你没看错，这个里也要超参数调优。 哈哈哈，用于调优模型的模型也是有参数的：**支持的任务**分类回归图像识别图像预测物体检测文本预测多任务预测**另外**支持自定义模型支持神经架构

tensorflow 的一个基础应用，用于预测波士顿的房价环境python3.7tensorflow 1.15.0代码import tensorflow as tfimport numpy as npfrom sklearn.datasets import load_bostondef read_infile(): data = load_boston() features = np.array(data.data) target = np.array(dat

记录下使用tensorflow进行多分类任务环境python3.7tensorflow1.15.0代码import tensorflow as tfimport numpy as npfrom sklearn import datasetsfrom tensorflow.examples.tutorials.mnist import input_data# 读取拟南芥数据def read_infile(): mnist = input_data.read_data_set

原因batch_input_shapeinput_shape参数设置错误解决设置好这个参数例如：model.add(Conv1D(64, kernel_size=3, padding='same',batch_input_shape=(None, 10,10)))

有多个GPU进行并行运算可以分为数据并行和模型并行模型并行： 不同的 GPU 训练模型的不同部分，比较适合神经元活动比较丰富的计算。数据并行： 不同的 GPU训练不同的数据案例，比较适合权重矩阵比较多的计算。1、数据并行数据并行比较简单，例如有2个GPU那么一次性读取1个bitch_size，平均分成2份，分别输入2个GPU,计算得到的梯度取平均，然后更新2个GPU的参数，一般采用一个GPU为主GPU作为梯度计算GPU:keras 实现：from keras.utils import mult

tensorflow报错 或者 keras报错，以及tf.keras报错：Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info.文章目录问题描述原因解决（1）在tensorflow中（2）在keras中（3）在tf.keras中问题描述今天进行5折交叉验证

('You must install pydot (pip install pydot) and install graphviz (see instructions at https://graphviz.gitlab.io/download/) ', ‘for plot_model/model_to_dot to work.’)缺少依赖包导致的解决:在anaconda prompt中：conda install graphvizconda install pydotplus...

Multi-class、 Multi-label 、 Multi-task 三者之间的区别与相同之处1、直观解释多分类学习（Multi-class）一个分类器，但分的类别是包含多个的。例如：分类器判断苹果的颜色是“红色、黄色、青色、白色”，这是一个4分类的任务，也就是一个多分类任务。多标签学习（Multi-label ）例如判断一个苹果A可以有如下的标签(形状（圆、不圆）、颜色(红色、非红色)、硬度(硬、不硬))，注意以上标签只有两个选择，这种叫多标签学习。其实多标签学习是多任务学习的一种

win10安装tensorflow2.0 anaconda1 安装anaconda下载地址：https://www.anaconda.com/download/2 打开anaconda prompt3 创建python3.7虚拟环境创建环境>conda create --name tfenv_py37 python=3.7激活环境>conda activate tfenv_py37激活成功：4 安装tensorflow2.0pip install tensorfl