樱花的浪漫
梦想还是要有的,更要成为一名不懈追求梦想的人
展开
-
异构图神经网络代码详解与实战
定义异构图需要定义点和边,点有两组类型,user和movie,user类型的点只有id,后续需要经过编码得到特征,而movie点的特征为movie题材得到的one hot编码,user和movie通过评分(边)连接起来。然后,我们将整个图划分为训练集、测试集与验证集。需要注意的是,在数据集很大的情况下(如淘宝),整个图将会很大,处理这样的图需要很多的资源,因此,我们往往采样子图进行训练。# following PyG semantics:构建边,从user到movieprint()原创 2024-05-11 20:42:04 · 128 阅读 · 0 评论 -
异构图神经网络——Heterogeneous Graph Neural Networks
GNN基本计算方法——邻接矩阵乘以节点,聚合相邻节点的特征,得到本节点的特征表达。原创 2024-05-08 20:43:11 · 988 阅读 · 0 评论 -
图神经网络基础
从深度学习顶会ICLR投稿主题来看,2022年和2023年强化学习、深度学习、表征学习、图神经网络等都是最热门的方向。原创 2022-11-11 11:32:38 · 793 阅读 · 0 评论 -
图神经网络--pytorch_geometric基本使用
self.conv1 = GCNConv(dataset.num_features, 4) # 只需定义好输入特征和输出特征即可h = self.conv1(x, edge_index) # 输入特征与邻接矩阵(注意格式,上面那种)# 分类层GCN()原创 2022-11-12 15:57:39 · 1906 阅读 · 0 评论 -
使用PyTorch Geometric构建自己的图数据集
SAGEConv:TopKPooling流程其实就是对图进行剪枝操作,选择分低的节点剔除掉,然后再重新组合成一个新的图,邻接矩阵也紧跟着变化具体做法是,首先对于输入x,假设维度为4*5,乘以一个可训练的权重参数(5*1),得分值取topk,在取出对应的未经过变换的着,乘以权重(sigmoid归一化的得分值),得到最终结果。相当于就是,假设top1为99,top2为0.1,我们想让得分高的占更大的权重。同时,邻接矩阵也需要跟着变动。原创 2022-11-12 21:37:53 · 4137 阅读 · 1 评论 -
图注意力和序列图模型
T-GCN模型的预测结果表明,在不同的预测水平下,T-GCN模型处于稳定状态,这说明T-GCN模型不仅可以实现短期预测,还可以用于长期的交通预测任务(15分钟30分钟45分钟60分钟)。但是这种方法在初始化的时候将所有的相邻节点看成是相同的,但是相邻节点的重要程度可能是不同的,因此引入了图注意力,为每条边引入一条权重项。主要是图数据随时间变化的图数据,比如道路交通流量预测,虽然整个图不会随时间而改变,但是每个结点的车流量等数据会随着时间而改变。首先,我们需要定义整个图的结构,每个结点包含哪些特征。原创 2022-11-13 11:00:38 · 510 阅读 · 0 评论 -
论文精读:SimGNN: A Neural Network Approachto Fast Graph Similarity Computation
图相似度就是返回两个图的相似性得分,比如两个化学分子结构,相似程度怎么样?图相似度/距离计算,如图编辑距离(GED)和最大公共子图(MCS),是图相似度搜索和许多其他应用程序的核心操作,但在实际应用中计算成本非常高。原创 2022-11-13 21:22:19 · 1053 阅读 · 0 评论 -
图相似度计算——SIMGnn源码解读
在运行代码的时候,需要首先指定参数,--histogram,表示使用直方图特征。原创 2022-11-16 19:49:28 · 2698 阅读 · 3 评论 -
特斯拉无人驾驶解读
因此,在模型中还加入了记忆模块,我们可以看到,Feature queue是一个20*80*256*60的序列,其中20*80很显然是特征图大小,256是通道数,60是序列长度。首先,8个视角的信息肯定是有重复的。整体框架如下,首先通过CNN和BiFPN获得多尺度特征,并映射到3D向量空间,然后缓存一个60时刻的时间序列的特征,并使用LSTM进行处理,最后的相互之间独立的下游任务。在自动驾驶过程中有一个问题,离得近的物体比较大,离得远的物体比较小,为了解决这个问题,可以采用FPN的思想,获得多尺度的特征。原创 2023-02-11 20:04:28 · 1853 阅读 · 0 评论 -
TSDF算法应用与源码详解
1.原始图片;2.对应的深度信息;3.每张图的相机位姿;4.相机内参原始输入图像数据(就是一个场景多个视角拍摄的结果)输入图像的深度信息,位姿信息等(一般由相机得到,也可以通过算法得到)整体流程类似于TSDF的更新和组合的过程,一步步计算各个体素(位置的)TSDF值再把他们拼接起来。我们可以将各个体素看成是一个个积木,将积木拼接成一个整体。首先我们需要构建一大块空区域(不能太大,否则GPU显存不够),因此,对于三维重建来说,室外场景比室内场景更难,因为室外场景的空间更大。原创 2023-02-11 16:35:57 · 1943 阅读 · 0 评论 -
三维重建——NeuralRecon项目源码解读
然后,我们需要将特征图的特征映射到对应体素上,其具体过程为首先由初始化的体素索引得到体素的实际位置,然后将体素的实际坐标通过坐标变换映射到像素坐标。-o是指定下载后存放的路径,--preprocessed_frames原始数据集太大,有1.2T,指定后,保留场景个数,但是对场景的图片进行采样,下载一个较小的数据集版本,供跑项目使用。然后对得到的体素的特征进行稀疏卷积,并使用gru进行片段的融合,即每一个片段需要考虑到之前的片段的特征,同时gru还可以对重复的部分进行遗忘。原创 2023-02-11 10:15:42 · 2460 阅读 · 8 评论 -
三维重建——商汤NeuralRecon算法详解与论文解读
三维重建,就是将2D的图片信息重建为3D的信息。应用领域广泛。可以应用于原型设计、虚拟现实等。原创 2023-02-04 11:44:35 · 3429 阅读 · 0 评论 -
关键点匹配——商汤LoFTR源码详解
得到4800*3200(4800是区域的个数,3200是特征的个数)3200表示,每个区域有5*5的像素点,通道数为128.以对应粗粒度的匹配结果。然后使用互相最近邻,也就是说,如果说A图上的a点与B图的b点权重最大,如果两个点需要匹配上,也要求B图b点与A图a点的关系权重最大。之前经过粗粒度匹配,筛选出了匹配的区域,获得了匹配的索引。首先,对于demo的运行,首先需要准备好需要用于关键点匹配的数据,提供的代码中置于了image文件夹下,然后是训练的权重,代码中下载了室内场景和室外场景的训练权重。原创 2023-02-01 22:21:25 · 3934 阅读 · 2 评论 -
关键点匹配——商汤loFTR算法详解与论文解读
本文提出了一种新的局部图像特征匹配方法。整体网络结构采用由粗到细的方式,即首先在粗糙层次上建立像素级密集匹配,然后在精细层次上细化良好的匹配。作者采用自注意力层和交叉注意力层进行特征提取,Transformer的全局接受域很好的应对了在背景相似的图像区域中特征匹配的问题。原创 2023-02-01 14:00:52 · 4620 阅读 · 0 评论 -
车道线检测源码详解
取出数据路径和标签路径,并做以平移为主的数据增强,对于标签的构建,将标签表示为4*18*2的矩阵,4代表4条车道线,18代表18行,2代表车道线位置的行和列。整体网络结构比较简单,就是使用resnet进行特征提取,然后连接输出层输出结果,输出的结果为1*210*18*4的矩阵,201则是分类概率。位置的计算:期望替代绝对,预测得到的实际位置点由每行200个网格期望得到,而不是直接使用softmax。结构损失:同一条车道线,相邻的行中车道线位置的预测相似。构建网格,将标签映射到200*200的网格中。原创 2023-01-30 13:48:16 · 1324 阅读 · 0 评论 -
基于深度学习的车道线检测论文解读
车道线检测使用OpenCV就能够实现,而基于深度学习的车道线检测尝试解决车道线检测中的遮挡问题。原创 2023-01-26 16:44:37 · 1528 阅读 · 0 评论 -
深度估计源码详解
项目中所包含的库直接使用pip install就好,但是有3个地方需要处理一下:fcntl,这个需要打开anaconda安装路径中的自己当前使用的环境,然后进去lib文件夹中新建一个fcntl.py 放在lib下,fcntl.py在源码中安装路径下已经提供了,需要自行复制到环境的lib文件夹中curses,这个包安装显示找不到对应的包,需要手动下载后本地安装,地址为https://www.lfd.uci.edu/~gohlke/pythonlibs/#curses。原创 2023-01-25 18:01:51 · 1874 阅读 · 2 评论 -
深度估计算法原理与论文解读
深度估计,即通过输入的彩色图像,获得每个像素点离相机距离的远近(热度图) ,热度图的深浅表示距离的远近。可以应用于AR、VR以及自动驾驶/辅助驾驶任务中,通常是作为上游任务,与通过传感器获得深度信息相比,这种方式能够大大节约成本。数据集:KITTI数据集。原创 2023-01-23 16:35:20 · 2898 阅读 · 0 评论 -
Vectornet源码详解
首先,我们需要下载这个API,方便对数据做特征工程,目前这个api还不支持windows版本按照上面的步骤所说,第一步需要下载这个项目,第二步需要下载一些配置文件,并按照上述方式解压第三步是下载数据第四步是将argoverse包安装到指定路径。原创 2023-01-01 14:14:24 · 2354 阅读 · 1 评论 -
VectorNet详解
本篇论文主要做了三个方面的事情:特征工程不同与以前的方法,将车辆行驶收集的信息用一张全局的图像来表示,论文提出用向量表示车辆行驶过程中收集的各种信息。2. 层次图神经网络论文构建了一种层次图神经网络,层次,即首先各个实体比如车辆、红绿灯等自身构建一个子图,然后将这些子图再连接成一层图。3.辅助任务。原创 2022-12-31 17:06:53 · 2296 阅读 · 0 评论