weixin_44528463的博客

原创 tg.nn.TransformerConv（）再分析

然后这里的params.feat_hidden2=128 params.gcn_hidden1=128,对应着内置函数就是in_channels: Union[int, Tuple[int, int]], out_channels: int。在这里主要提一下：在self.propagate函数中，会自动调用self.message函数、self.aggregate函数、self.update函数。我在debug的时候，查看了一下具体python里面的函数和官方的多少还是有点差别的。具体参考一下这几个博客。

原创 TransformerConv

维度不匹配只能是atten和hidden1的维度不匹配了，那attention和hidden1到底是什么？这里的hidden1对应着的是上一篇文章中forward的输出结果，也就是out，具体out的是什么？我感觉，我是不是学代码天生比别人慢一拍，就是其实很简单的函数也要花好久才能明白。之前在跑别人代码的时候，遇到了hidden这里的维度不匹配，就返回去找维度。然后return_attention_weight设置的是True。这的hidden1到底是什么？

原创 类的参数传递

非计算机科班出身果然好多基础的需要补，但是我感觉，愿意学，总归是可以学会的。其实一开始是不懂的，以为hidden1 = self.gc1(feat_x, adj)里面的参数feat_x, adj传到类tg.nn.TransformerConv()里面去就可以了，其实这样不对。查阅了参考的资料才发现自己错了。主要参考的这篇类TransformerConv中的参数是这些。但是是找不到feat_x和adj传递的位置的。再仔细看下应该这样分析，

原创 embedding层的理解

个人感觉embedding层和普通的线性层没有什么区别~就是为了降维和升维用的。也就是向量的维度变化！感觉这篇知乎真的大道至简。

原创 截面转面板数据、插值（保持原始数值不变）、批量

最近在做stata的实验，总结一下遇到的坑和遇到的代码事件。2.0具体的转string为num数据，并设定面板数据。1.截面数据转面板数据。记得要保存和clear。

原创 从MLP到卷积

最近要做多通道的实验，所以重新将处理图像的基础模型回顾一下，什么是卷积？卷积本质是是一种特殊的全连接层。

原创 空间转录组基础数据解读+学习方法

中只有 3 千多的数据，可能是因为在数据处理过程中进行了质量控制和过滤，去除了低质量细胞、空白滴、非目标区域的细胞等。这是单细胞 RNA 测序和空间转录组学数据处理中常见的步骤，目的是提高数据的可靠性和准确性。这种文件格式非常适合存储稀疏矩阵，其中大部分元素为零，只有少量非零元素，如基因表达矩阵、社会网络、推荐系统等中的数据。本质是一样的，但是明显可以看到adata中的spatial数据比spatial文件夹中的数据少？两个里面的内容本质一样，都是空间转录组 表达矩阵的信息。中有 4 千多的数据，但是在。

原创 什么是门槛值 超过了门槛值会有什么样的结果？

门槛值（Threshold Value）是指某个变量达到或超过某一特定数值时，会引发显著变化或效果的点。在经济学和统计分析中，门槛值常用于识别不同条件下的不同效果，例如，某一政策只有在经济发展达到一定水平时才会显著影响经济增长。

原创 调节效应多元统计回归

模型3中交互项𝛽3β3​的系数为0.3，并且p值小于0.05，说明交互项显著。由于𝛽3β3​为正，意味着数字化技术普及率（M）增强了环境法规数量（X）对产业升级指数（Y）的正向影响。通过回归分析，我们可以初步推断产业数字化在环境规制促产业结构调整中起到了显著的调节作用。具体来说，数字化技术普及率越高，环境法规数量对产业升级指数的正向影响越强。假设我们有一个国家的经济数据，我们希望研究产业数字化是否调节了环境规制对产业结构调整的影响。可以通过替换其他数字化指标、分组回归等方法进一步验证结论的稳健性。

原创 空间转录组数据的意义

这两个的区别是：一个是像素的位置信息，一个是阵列的位置信息。

原创 讲一下安装rpy2的过程

3、之前是在服务器终端直接conda install rpy2 然后各种环境解析错误，又仔细研究了一下，rpy2的版本要和R的对应，所以需要指定版本pip install rpy2==3.5.1用这个命令就可以直接装好了。主要是参考的这个帖子，rpy2是python和R交互的一个包，在深度学习领域很重要，但是一开始安装会直接报错，我总结了一下安装过程。1、首先要安装R，这个可以让root按在根目录下，然后把不同的包装在自己的用户下就可以了。2、R的环境变量要配好，这样以便可以直接找到R的位置。

原创 Transformer中的mask和输入与输出

这个链接讲的真好。

原创 pytorch_lighting的一些环境设置问题

PyTorch、PyG 和 PyTorch Lightning 版本问题（QCNet环境配置问题）我具体是参考的下面这个知乎。PyTorch、PyG 和 PyTorch Lightning 版本问题（QCNet环境配置问题）我具体是参考的下面这个知乎。因为我总是重装pytorch所以在这里附上直接安装的代码。这个是我的具体版本 cuda10.1和pytorch1.7.1。这个问题，想了一下原因是版本没有对应的上。pytorch版本要和自己所加载的包版本对应，不然会很麻烦。验证是否成功装好的代码。

原创 transformer通俗理解

多头本身可以理解成为哪吒的三头六臂，哪吒一个人打怪肯定没有三头六臂打怪来的战斗力猛，所以分身成三头六臂，也就是多头。但是不能总当怪物，天下三分，分久必合，所以打完之后要合成一个人。所以就把多头合在一块。以下是作者给的一个例子：强烈建议大家去读原文，收获真的很多！

原创 张量这边总是拧巴

原创 张量的定义与乘法

参考一下这两篇博客。

原创 详细讲一下PYG 里面的torch_geometric.nn.conv.transformer_conv函数

参数设置为 4，那么模型将学习 4 组注意力权重，每组权重都用于计算输入的不同子空间的注意力，然后将这些头的输出进行合并以产生最终的输出。应该设置为 16，表示每个输出样本的大小为 16，即经过卷积操作后每个节点的特征向量将变为 16 维。如果设置为元组，则表示输入样本的大小对应于源维度和目标维度的大小。因此，通过矩阵乘法运算，输入特征将被映射到一个新的特征空间，其维度为。表示每个输出样本的大小，即经过卷积操作后产生的特征向量的维度大小。在这个新的特征空间中，每个节点的每个头都有一个键表示。

原创 squeeze的用法

比如说squeeze（？）括号里是啥 就是在哪个维度上删除维度为1 之后的结果。但是在下面那个例子中d就是把0维上的维度为1的删除掉了 所以就是（[]）了。比如上上面那个里子 a是（[[]]）squeeze是压缩张量的命令。

原创 动手学深度学习——李沐（学习笔记）未完待续........

先定义一个模型变量net，它是sequential的一个实例，senquential类将多个单层串联在一起，给定输入数据的时候sequential输入数据，传入第二层以此类推。全连接层就是包括完整的输入+输出。全连接层在Linear类中定义，Linear的参数有两个。1.输入特征形状 2.输出特征形状。

原创 Encoder——Decoder工作原理与代码支撑

这篇文章写的不错，从定性的角度解释了一下，什么是编码器与解码器，我再学习+笔记补充的时候，讲一下原理+代码实现。以下是一个不错的PPT图。

原创 服务器清理内存tmp

因为我们的服务器是公用的tmp内存有限。在非root用户权限下可以删除文件。

原创 记录一下安装cv2的过程

关键命令就是这一行，会比较慢 加上清华源吧。主要是参考的这篇文章。

原创 如果装不上库

pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple

原创 linux装R

因为要装rpy2 发现是服务器端 自己的虚拟环境没有装R，具体安装过程 参考上面那个链接。最后还要配一下R的环境。

原创 装R包的一些事

具体参考这个帖子。

原创 记录一下初次使用linux服务器的问题解决

还有一个就是：总之就是好像和源有关，就是删除了所有源重新装一下就好。

原创 简单记录一下在linux中安装pytorch成功！

torchvision版本:0.15.0。torchaudio版本：2.0.0。python版本：3.9。版本：cuda11.8。参考的这篇文章 很顺利。

原创 记住清华源啊啊啊啊啊

pip install rpy2 -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn

原创 为什么在cmd中输入jupyter notebook会出现问题

这个说明在cmd中找不到jupyter notebook，说明没有添加到环境变量里去，在配置R内核的时候找不到，所以要将其配置到环境变量里去。C:\Users\REBECCA329>jupyter notebook 'jupyter' 不是内部或外部命令，也不是可运行的程序 或批处理文件。找到jupyter notebook所在文件夹 把红色的地方粘贴到环境变量里去就可以了。

原创 图卷积神经网络 transformer

论文推荐。

原创 实在是不能忍受笨蛋的我总是配错解释器导致torch找不到

原创 pandas+numpy的一些基础总结

都是我白嫖来的知识，当记笔记了。

原创 RNN实战具体跑的代码

在这个公式中，ht​ 表示RNN模型在时间步 t 的隐含状态，通常也被称为隐藏状态或者记忆状态。RNN（循环神经网络）的核心是根据当前的输入xt​ 和前一个时间步的隐含状态 ℎt−1来计算当前时间步的隐含状态 ht​。考虑句子："The cat is sitting on the mat."，如果我们按照单词的顺序将其输入到RNN模型中，则每个单词对应一个时间步。如果是纯时间序列预测的模型，那么在纯时间序列模型中，T。在这个例子中，整个句子被分成了7个时间步，每个时间步上都有相应的输入数据。

原创 nn图的网络结构就是拓扑结构

LSTM神经网络输入输出究竟是怎样的？- Peace的回答 - 知乎。

原创 RNN的具体实现

这篇文章真的巨好，特别适合新手做复现。

原创 神经网络的权重是什么？

所以才会有梯度下降的概念，梯度下降是什么？是通过改变x值也就是w的值使得均方和误差最小。w是权重，梯度下降与学习率相关，就是往下走的这么一个趋势。左边是拟合的函数，右边是均方和误差，也就是把左边的拟合函数隐射到了右边，右边是真实值与预测值之间的均方误差和，本质是一个二次函数。

原创 神经网络激活函数到底是什么？

如果 队伍太长 就加一个激活函数也就是感知机模型（也就是函数由原来的直线，变成曲线，弯一下，但是拟合效果更好了）防爆，安检，好多不同的流程就是不同的层 也就是影藏层的个数。激活函数 其实不是很难啦，归结一下就是大概这样几个分类，如果队伍不长，一个y=kx+b就可以了，如果。神经网络就是干这个事的~

原创 pandas读取数据 看这个就可以啦！

我又在复现代码了，这个讲pandas读取数据特别棒！

原创 还有些问题没有解决

2、jupyter notebook 还没有配置到pycharm里去。1、代码只能在显存上跑 还没办法放到英伟达的GPU 上。深度学习刚上手复现论文还有些问题没解决。

原创 虚拟环境python包的目录与cmd包的目录的关系

cmd直接安装包 pip install package就会出现问题（默认安装路径是默认解释器的安装路径）代码这么写：pip install --target=橙色是虚拟环境中包的位置，具体可以在解释器中查看到。如果自己添加了解释器，就要重新设定安装目录。先粘贴一下大佬的解释。