- 博客(30)
- 收藏
- 关注
RSS订阅原创 Linux编译运行cpp源文件
打开Linux虚拟机后，打开terminal，输入以下指令，通过apt包管理器安装包，这个包包含了编译软件所需的基本工具和库。
2024-09-08 13:36:42
664
原创 时空图卷积网络：用于交通流量预测的深度学习框架-1
交通在每个人的日常生活中起着至关重要的作用。根据2015年的一项调查，美国司机每天花在开车上的时间平均约为48分钟在这种情况下，准确的实时交通状况预测对道路使用者、私营部门和政府都至关重要。广泛应用的交通服务，如流量控制、路线规划、导航等，也在很大程度上依赖于高质量的交通状态评价。多尺度交通预测是城市交通控制与诱导的前提和基础，也是智能交通系统(Intelligent Transportation System, ITS)的主要功能之一。
2024-08-31 21:28:31
2361
原创 Bahdanau注意力机制
这里实现一个接口，只需重新定义解码器即可。为了更方便地显示学习的注意力权重， 以下类定义了带有注意力机制解码器的基本接口。接下来，让我们在接下来的类中实现带有Bahdanau注意力的循环神经网络解码器。首先，初始化解码器的状态，需要下面的输入：编码器在所有时间步的最终层隐状态，将作为注意力的键和值；上一时间步的编码器全层隐状态，将作为初始化解码器的隐状态；编码器有效长度（排除在注意力池中填充词元）。在每个解码时间步骤中，解码器上一个时间步的最终层隐状态将用作查询。
2024-08-29 22:31:20
1059
原创 各种注意力评分函数的实现
本文基于MXNet进行实现，需要对于注意力机制有一定初步了解。也需要对Python有足够了解。另外这里稍加说明，在注意力机制中，本质上是“注意”的位置，即加权计算后进行Softmax回归的结果。在Nadaraya-Watson核回归中，首先具有一个键值对（key-value），输入称为一个查询（query），对于每个查询，有对应计算，计算查询与键的关系，根据关系的大小，取键所对应的值，通过带权重的值进行预测，这就是Nadaraya-Watson核回归的基本思想。
2024-08-28 23:05:08
1187
原创 TensorFlow实现Softmax回归
相比线性回归，Softmax只多一个分类的操作，即预测结果由连续值变为离散值，为了实现这样的结果，我们可以使最后一层具有多个神经元，而输入不变，其结构如图所示：为了实现分类，我们使用一个Softmax操作，Softmax函数能够将未规范化的预测变换为非负数并且总和为1，同时让模型保持可导的性质。为了完成这一目标，我们首先对每个未规范化的预测求幂，这样可以确保输出非负。为了确保最终输出的概率值总和为1，我们再让每个求幂后的结果除以它们的总和。
2024-08-25 15:27:02
968
原创 提升式学习的策略：广泛涉猎还是专注深入？
作为程序员，选择学习路径是一个重要且个人化的决策。不同的学习策略可以带来不同的效果，具体选择哪种策略取决于你的职业目标、兴趣爱好和现有的技能水平。以下是两种主要的学习策略：广泛涉猎与专注深入，各自的优缺点，以及如何结合它们来提升你的学习效果。
2024-08-22 12:00:47
345
原创 图神经网络教程4-卷积图神经网络
我们通常将卷积定义为一种操作，通过积分或求和从两个给定输入导出输出，这表示了一个输入如何被另一个修改。cnn中的卷积涉及两个矩阵输入，一个是前一层激活函数后产生的特征矩阵，另一个是学习权重的矩阵𝑊×𝐻，它在激活矩阵上被“滑动”，使用简单的线性组合聚合每个𝑊×𝐻区域(见图7 (a))。在空间图领域，这种类型的卷积似乎没有很好的定义;学习权重的刚性矩阵的卷积必须发生在刚性的激活结构上。我们如何协调非结构化输入(如图)上的卷积。请注意，在我们对卷积的一般定义期间，没有任何一点是提到的给定输入的结构。
2024-08-21 15:27:32
868
原创 图神经网络教程1-综述
当代人工智能(AI)，或更具体地说，深度学习(DL)近年来被神经网络(NN)所主导。NN变体被设计用于提高某些问题领域的性能;卷积神经网络(CNN)在基于图像的任务中表现突出，而循环神经网络(RNN)在自然语言处理(NLP)和时间序列分析领域表现突出。在更复杂的深度学习框架中，神经网络也被用作构建模块——例如，它们在生成对抗网络(GANs)中被用作可训练的生成器和鉴别器，以及在Transformer网络中作为组件。
2024-08-20 18:16:04
980
原创 图神经网络教程3——循环图神经网络-2
例如，图1 (b)说明了图如何表示手部单幅图像中的骨骼结构，然而，如果我们要为移动手部的连续视频的每一帧创建这样的图，我们将有一个数据结构，可以解释为单个图的序列，或具有顺序特征的单个图，这些数据可以用于对视频中的手部动作进行分类。，这对于深度学习场景来说并不理想，在这种场景中，低级特征(在网络的早期)之间的关系与高级特征(在网络的后期)之间的关系是不同的。正如预期的那样，连续的过渡函数导致计算出更有判别力的特征，从而导致图的最终表示更有判别力(类似于CNN中更多的卷积层)。的形式化定义来缓解这些问题。
2024-08-20 15:32:12
1172
原创 图神经网络教程2——循环图神经网络-1
循环图神经网络（Recurrent Graph Neural Network，RGNN）。在标准神经网络中，连续的学习权重层用于从输入张量中逐步提取更高级别的特征。在用于计算机视觉的神经网络中，低级特征(如短直线和曲线)的存在是由较早的层识别的，而高级特征(如复合形状)的存在是由较晚的层识别的。在被这些顺序层处理之后，所产生的高级特征可以提供给softmax层或单个神经元，以进行分类、回归或一些其他的下游任务(downstream task)。
2024-08-19 21:05:37
903
原创 论文阅读笔记：The Graph Neural Network Model
在机器学习中，我们首先假定存在一个映射,将图和其中一个节点映射为一个向量，在图中心类应用中，该映射只依赖于图本身，在节点中心类应用中，该映射依赖于节点。在本篇论文中建立一个神经网络模型，能够使之同时适应于图中心的应用和节点中心的应用。将两种模型联合为一个模型——即图神经网络。随着机器学习、深度学习的发展，语音、图像、自然语言处理逐渐取得了很大的突破，然而语音、图像、文本都是很简单的序列或者网格数据，是很结构化的数据，深度学习很善于处理该种类型的数据。
2024-08-18 18:13:57
789
原创 论文阅读笔记：ST-MetaNet-2
城市交通记为一个向量,其中表示在时间t所有位置的交通流量信息。Geo-graoh属性代表位置周围的环境以及其相互关系，分别对应节点属性和边属性。形式上，使图G=（V，E）代表一个有向图，V和E分别是表示该位置特征和表示位置间联系的向量列表。此外，我们使用Ni来表示节点i的邻居。
2024-08-14 19:25:49
2027
原创 论文阅读笔记：ST-MetaNet-1
城市交通预测对智能交通系统和公共安全具有重要意义，但具有挑战性，主要体现在以下两个方面:1)城市交通复杂的时空相关性，包括位置之间的空间相关性和时间戳之间的时间相关性;2)这种时空相关性的多样性，随位置的不同而变化，并依赖于周围的地理信息，如兴趣点和路网。为了应对这些挑战，提出了一种基于深度元学习的ST-MetaNet模型，可以同时对所有位置的流量进行集体预测。ST-MetaNet采用了一种序列到序列架构，由一个用于学习历史信息的编码器和一个用于逐步进行预测的解码器组成。
2024-08-13 10:08:40
1284
1
原创 机器学习笔记：注意力机制中多头注意力的实现
单个注意力学到的东西有限，可以通过对不同的注意力进行组合，学到不同的知识，以达到想要的目的。因此采用”多头注意力“的方法进行实现，即有多个注意力”头“，对其进行连结得到输出。
2024-08-12 19:43:14
496
原创 一文看懂，注意力机制到底是什么
非参数注意力池化，也称之为Nadaraya-Watson核回归，它提出根据输入的位置对输出yi进行加权。非参数的Nadaraya-Watson核回归具有一致性（consistency）的优点： 如果有足够的数据，此模型会收敛到最优结果。尽管如此，我们还是可以轻松地将可学习的参数集成到注意力池化中。相对于Nadaraya-Watson核回归，这只是多一个权重参数而已。
2024-08-11 17:01:07
1233
原创 机器学习笔记：seq2seq训练
这节真是有够难的，笔者目前正在学习这一节，只不过先把这个博客发出来。所以说，可能有很多地方还只是一笔带过，后面还会再慢慢更新。另外关于seq2seq的结构，可以看之前发的博客。
2024-08-10 15:36:27
739
原创 机器学习笔记：序列到序列学习[详细解释]
本节我们使用两个循环神经网络的编码器和解码器， 并将其应用于序列到序列（sequence to sequence，seq2seq）类的学习任务。遵循编码器－解码器架构的设计原则， 循环神经网络编码器使用长度可变的序列作为输入， 将其转换为固定形状的隐状态。换言之，输入序列的信息被编码到循环神经网络编码器的隐状态中。
2024-08-10 11:54:47
1062
原创 机器学习笔记：编码器与解码器
在机器翻译中，输入的序列与输出的序列经常是长度不相等的序列，此时，像自然语言处理这种直接使用循环神经网络或是门控循环单元的方法就行不通了。因此，我们引入一个新的结构，称之为“编码器-解码器”（Encoder-Decoder），通过这种结构，来实现输入输出长度不均等的问题。
2024-08-09 15:49:34
792
原创 机器学习笔记：机器翻译与数据集（详细解释）
与之前语言处理的单语言数据集不同，机器翻译的数据集使用双语言的序列对构成，因此处理方式也有不同。首先引入相关库。
2024-08-09 15:25:45
1140
原创 机器学习笔记：门控循环单元的建立
门控循环单元（Gated Recurrent Unit，简称GRU）是循环神经网络一种较为复杂的构成形式，其用途也是处理时序数据，相比具有单隐藏状态的RNN，GRU具有忘记的能力，可以忘记无用的数据。
2024-08-08 10:04:43
379
原创 零基础学会机器学习，到底要多久？
这两天啊，有不少朋友和我说，想学机器学习，但是之前基础，不知道能不能学得会。首先说结论，，但是一定不能三天打鱼两天晒网，要持之以恒，至少每隔两天，必须得看一点。所以呀，我整理了关于机器学习各种内容的资料，跟大家一起看一看，从零基础入门，想要学会深度学习，到底需要多长时间呢？首先声明，没有广告！没有广告！没有广告！接下来呢，咱们就进入正题，要多久能学会，也就是基本掌握机器学习。这里，我们依次来看。
2024-08-07 20:59:55
1916
原创 循环神经网络中的采样问题
在完成对数据集的处理后，接下来需要读取数据，对其进行合理采样。数据集的采样主要分为两种，随机采样和顺序分区，接下来依次进行介绍。
2024-08-06 18:00:09
747
原创 面向城市人群流量预测的深度时空残差网络[名词解释]
输入直接映射到输出，没有中间步骤或人为干预。这种方法的核心思想是将整个任务或流程作为一个单一的系统来优化和执行，而不需要手动处理中间步骤或特征工程。
2024-08-05 21:21:07
431
翻译 面向城市人群流量预测的深度时空残差网络[翻译]
人群流量预测对交通管理和公共安全具有重要意义，同时受区域间交通、事件、天气等多种复杂因素影响，具有很大的挑战性。本文提出一种基于深度学习的方法ST-ResNet，来预测城市每个区域的人群流量和流出量。基于时空数据的独特特性，设计了ST-ResNet的端到端结构。具体地，采用残差神经网络框架对人群交通的时间稠密性、周期性和趋势性进行建模。针对每个属性，设计一个残差卷积单元分支，每个分支对人群交通的空间属性进行建模。ST-ResNet根据数据学习动态聚合三个残差神经网络的输出，为不同的分支和区域分配不同的权重。
2024-08-04 20:10:48
153
1
空空如也
Java绘图出现问题
2024-06-26
java sql报错，无法准备成功
2024-06-08
mxnet安装时遇到问题
2024-05-15
miniconda识别问题
2024-05-15
html无法识别JavaScript中的函数
2024-05-10
html水平导航栏overflow属性
2024-05-08
django入门出现问题
2024-05-02
java疑似stdIn.readline()方法无法读取
2024-05-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人