- 博客(27)
- 收藏
- 关注
RSS订阅原创 【论文笔记】 Predict, Refine, Synthesize: Self-Guiding Diffusion Models for Probabilistic Time Series
在当前研究中，时序Diffusion Model主要集中在为特定预测或插补任务定制的条件模型上。本文将探索任务不可知的（Task-agnostic）无条件Diffusion Model在一些时序应用上的潜力。本文提出了TSDiff，一种无条件训练的时序Diffusion Model。该模型通过自引导机制，使得TSDiff能够在推理时为下游任务调节TSDiff，从而不需要辅助网络或更改训练过程。本文在三个不同的时序任务上展示了方法的有效性：预测、细化（插值）、数据合成。
2024-07-05 12:58:18
1097
原创 【论文笔记·RL】DMBP: Diffusion Model-Based Predictor for Robust Offline Reinforcement Learning
Offline RL是通过在离线数据集上进行训练并不与环境进行交互。而其在真实世界应用的挑战来源于对状态观测干扰的鲁棒性，如传感器错误或对抗性攻击。与Online RL方法不同，Agent不能在Offline setting下进行对抗训练。在本文中，提出了Diffusion-Based预测器，使用条件扩散模型用于恢复真实状态，用于基于状态的RL任务。为了缓解误差累积问题，本文提出了一个非马尔可夫训练目标用于最小化去噪后状态的熵。
2024-07-05 12:56:51
603
1
原创 【论文笔记 · PFM】Lag-Llama: Towards Foundation Models for Time Series Forecasting
本文提出Lag-Llama，在大量时间序列数据上训练的通用单变量概率时间序列预测模型。模型在分布外泛化能力上取得较好效果。模型使用平滑破坏幂律（smoothly broken power-laws）。目前任务主要集中于在相同域的数据上训练模型。当前已有的大规模通用模型在大规模不同数据上进行训练，展现出了极强的泛化能力。本文训练了一个Transformer模型，使用大量时序数据进行训练并在未见过的数据集上进行测试。文章在Monash时序仓库上训练了Lag-Llama。
2023-12-12 13:55:04
2454
2
原创 【论文笔记·RL】Reinforcement Learning Approaches for Traffic Signal Control under Missing Data
当前大多数工作都集中于提升强化学习方法的性能，但强化学习不能直接部署在交通状态数据缺失的环境中，而许多城市的传感器又只部署在主要路口上，无传感器的路口不能利用强化学习方法进行提前规划以适应动态交通。本文是第一个在数据缺失场景下使用基于强化学习的交通信号控制方法，提高了在现实场景中的适应性。在缺失观测的情况下，测试了多种控制路口的方法。提出首先计算状态和奖励，然后实现强化学习训练的两步法。提出的方法能够在无数据缺失和部分数据缺失的情况下获得更好的效果。
2023-08-28 21:59:03
302
原创 【论文笔记·RL】InitLight: Initial Model Generation for Traffic Signal Control Using AIRL
当前基于RL的TSC方法都是基于特定环境训练的，难以应用于其他交通环境。如何有效提高学习效率和泛化能力。InitLight由两个部分组成，包括生成器（Generator）和鉴别器（Discriminator）。与传统基于RL的TSC方法在特定交通路网训练一批Agent不同，InitLight则是基于多个单交叉路口环境和其对应的专家轨迹进行预训练。InitLight采用了PPO算法作为Generator中的Agent，并在Discriminator的引导下进行训练。
2023-08-28 21:57:29
253
原创 【论文笔记 · RL】Cooperative Max-Pressure Enhanced Traffic Signal Control
本文发现压力机制忽视了驶出车道的剩余容量，进而提出了PRCOL用于计算驶出车道剩余容量的压力机制。当前方法仅考虑了当前或过去时间的交通情况，而忽略了未来可能存在的交通流变化，因此引入车流预测。建模路网；预测车流的时间序列。本文将GNN整合进入RL，从而动态调整相位和时间间隔。Agent基于当前的交通状态选择相位；预测车流流量，利用预测值和实时观测值用来决定信号灯持续时间。提出了新的压力指数——PRCOL；设计了一个基于PRCOL的RL算法，从而决定基于当前交通状况的交通相位；
2023-06-08 21:49:22
300
2
原创 【论文笔记 · RL】PRGLight: A novel traffic light control framework with Pressure-based-Reinforcement...
本文发现压力机制忽视了驶出车道的剩余容量，进而提出了PRCOL用于计算驶出车道剩余容量的压力机制。当前方法仅考虑了当前或过去时间的交通情况，而忽略了未来可能存在的交通流变化，因此引入车流预测。建模路网；预测车流的时间序列。本文将GNN整合进入RL，从而动态调整相位和时间间隔。Agent基于当前的交通状态选择相位；预测车流流量，利用预测值和实时观测值用来决定信号灯持续时间。提出了新的压力指数——PRCOL；设计了一个基于PRCOL的RL算法，从而决定基于当前交通状况的交通相位；
2023-06-08 20:26:21
626
3
原创 【论文笔记·RL】AttentionLight: Rethinking queue length and attention mechanism for traffic signal control
提出一种TSC方法，Max-QL作为状态特征；提出一种通用TSC范式QL-XLight，将队列长度作为状态和奖励；提出一种基于QL-XLight的强化学习方法AttentionLight，利用自注意力机制来获得相位关系，而不需要人为的相位竞争知识。M-QL方法效果好于最新的强化学习方法；AttentionLight实现了新的SOTA；状态表示对TSC方法很重要。
2023-04-26 10:23:20
550
1
原创 【论文笔记·RL】Traffic Signal Control Based on Reinforcement Learning with Graph Convolutional Neural Nets
文章使用神经网络拟合Q-Learning的迭代过程（NFQI），每个agent可以利用周边道路的交通信息学习一种策略，以分布式方式控制十字路口的交通信号。采用sumo进行模拟仿真，仿真结果表明，该方法能够以两倍于基于强化学习的全连接神经网络(FCNN)方法的速度找到可比策略，并能处理更广泛的交通需求变化。
2023-02-04 21:59:37
504
1
原创 【论文笔记 · RL】Reinforcement learning-based multi-agent system for network traffic signal control
当前人工智能系统面对的挑战包括在多路口交通网络中的交通信号协调。该文章将介绍一种新的多智能体系统方法和强化学习框架来获取一种有效的交通信号控制策略。其中，强化学习框架旨在最小化交叉路口的平均延迟、拥堵和堵塞的可能性。一个五交叉路口交通网络已经被学习，并且每个路口都被一个自动化的智能体控制。Outbound agent通过利用最长队列优先算法（LQF）来调度交通信号，并通过central agent提供本地交通统计数据，与central agent进行协同调度。
2023-02-03 23:13:36
401
1
原创 【论文笔记 · RL】Learning Phase Competition for Traffic Signal Control
目前的交通信号控制系统SCATS、SCOOT等都基于设计好的交通信号计划。但是其不能适应动态的复杂交通流。当前，强化学习作为一种可行的解决方案已经被用于现实场景的交通信号控制中。强化学习模型能够直接通过与环境交互学习控制策略。为了实现这个目的，一种典型的方法是为每个交叉路口设置一个Agent，Agent通过做完动作后环境的反馈，来优化奖励。这些强化学习模型能有效对2或4个信号相位的交叉路口进行控制。但对于8相位的交叉路口，研究发现会出现状态空间爆炸的问题。
2022-12-02 17:04:43
486
2
原创 【论文笔记 · RL】Toward A Thousand Lights Decentralized Deep Reinforcement Learning for Large-Scale TSC...
以上方法都强依赖于一个给定的交通模型或者基于专家知识预定义的规则，难以适应动态交通。交通移动（Traffic Movement）Traffic movement是车辆穿过交叉路口，从进入车道到离开车道的过程。文章中将这一过程定义为(l,m)(l,m)(l,m)，指从道路lll到道路mmm，如上图中有12对Traffic movement。信号相位（Signal Phase）sss是一组被允许的traffic movement。
2022-11-13 21:28:26
1531
1
原创 【论文笔记】ST-GAT A Spatio-Temporal Graph Attention Network for Accurate Traffic Speed Prediction
当前很多提出的交通速度预测模型都同步考虑时间依赖和空间依赖，如RNN (LSTM, GRU)用于时间依赖，GNN、GCN灯模型被用于空间依赖。DMSTGCN学习潜在空间依赖并将空间和时间依赖独立考虑，STSGCN在本地以及小时间窗口下，部分考虑了时间与空间的联合依赖。但他们都没有考虑所有可能个体的时空依赖。(a)图展示了当前模型预测交通速度的方法，其采用了循序渐进的方法，将时间点iii的Ai,Bi,CiAi,Bi,Ci整合进入DiD_iDi。
2022-11-07 12:40:02
1529
3
原创 【论文笔记】Multi-scale Context Aggregation By Dilated Convolutions
语义分割的挑战性在于他需要结合像素级的准确性和多尺度上下文推理。在图像分类任务中可以通过降采样和池化降低分辨率，从而获得全局预测；而密度预测任务中需要采用全分辨率。在调节流量预测问题中的多尺度推理和全分辨率密度预测时，存在两种路径。一种时采用重复上卷积，从而恢复丢失的分辨率，同时从下采样层获取全局视野。第二种则是提供了多个缩放版本的图像作为输入，并且将对应预测值进行组合。
2022-11-06 15:39:40
554
1
原创 【论文笔记】Diffusion Convolutional Recurrent Neural Network: Data-driven Traffic Forecasting
DCRNN能够利用图上的双向随机步长捕获空间依赖，并利用encoder-decoder结构进行时间依赖的获取。
2022-10-18 20:23:19
617
1
原创 【论文笔记】Graph WaveNet for Deep Spatial-Temporal Graph Modeling
现有模型大多是基于固定的图结构，但由于数据的损失可能导致某些true dependency丢失。现有方法对捕获时间趋势不是很有效，因为RNN和CNN不能捕获长时间序列。GWN是通过更新一个自适应依赖矩阵，从而来捕获隐藏的空间依赖。GWN使用堆叠的1D卷积分结构，来使接受域不断扩大，从而使得模型可以处理非常长的序列。假设1：一个结点的未来信息取决于一个结点的历史信息与相邻结点的历史信息。问题1：图中结点间相互信息可能出现缺失或增加。问题2：目前的时空建模难以学习到时间依赖。
2022-10-15 19:23:08
880
1
原创 【课程笔记】程序设计模式复习笔记
文章目录概览创建型模式简单工厂模式工厂方法模式抽象工厂模式建造者模式原型模式概览开闭原则：软件实体应当对扩展开放，对修改关闭。抽象化是开闭原则的关键相对稳定的抽象层 + 灵活的具体层对可变性封装原则(Principle of Encapsulation of Variation, EVP)：找到系统的可变因素并将其封装起来创建型模式模式名称定 义简单工厂模式 (Simple Factory Pattern)定义一个工厂类，它可以根据参数的不同返回不同类
2022-04-19 21:05:09
904
原创 【算法心得·力扣】剑指 Offer II 005. 单词长度的最大乘积
剑指 Offer II 005. 单词长度的最大乘积](https://leetcode-cn.com/problems/aseY1I/)难度中等34给定一个字符串数组 words，请计算当两个字符串 words[i] 和 words[j] 不包含相同字符时，它们长度的乘积的最大值。假设字符串中只包含英语的小写字母。如果没有不包含相同字符的一对字符串，返回 0。示例 1:输入: words = ["abcw","baz","foo","bar","fxyz","abcdef"]输出: 16 解释
2022-01-26 15:52:27
150
原创 【算法心得·力扣】剑指 Offer II 004. 只出现一次的数字
剑指 Offer II 004. 只出现一次的数字 ](https://leetcode-cn.com/problems/WGki4K/)难度中等40给你一个整数数组 nums ，除某个元素仅出现 一次 外，其余每个元素都恰出现 **三次 。**请你找出并返回那个只出现了一次的元素。示例 1：输入：nums = [2,2,3,2]输出：3示例 2：输入：nums = [0,1,0,1,0,1,100]输出：100提示：1 <= nums.length <= 3 * 10
2022-01-26 14:25:40
658
原创 【算法心得·力扣】153. 寻找旋转排序数组中的最小值
153. 寻找旋转排序数组中的最小值难度中等651收藏分享切换为英文接收动态反馈已知一个长度为 n 的数组，预先按照升序排列，经由 1 到 n 次 旋转 后，得到输入数组。例如，原数组 nums = [0,1,2,4,5,6,7] 在变化后可能得到：若旋转 4 次，则可以得到 [4,5,6,7,0,1,2]若旋转 7 次，则可以得到 [0,1,2,4,5,6,7]注意，数组 [a[0], a[1], a[2], ..., a[n-1]] 旋转一次 的结果为数组 [a[n-1], a[0], a
2022-01-25 14:33:28
115
原创 【论文笔记】Adversarial Deep Network Embedding for Cross-network Node Classification
在网络中，有很多用户标识自己的标签，利用这些标签可以迁移到新网络中没有标签的用户上。网络结构数据与CV、NLP的区别在于，网络结构中每个实例（节点）间存在着复杂的相互作用关系（边）。而网络嵌入模型能够很好的保存原有的网络结构。
2021-11-16 21:38:55
1098
原创 【课程笔记】人工智能导论——从四个学校东拼西凑的产物
文章目录第三章一阶谓词逻辑表示法谓词连接词量词一阶谓词逻辑知识表示法产生式规则表示法产生式系统语义网络表示法分块语义网络分类学网络推理网络框架表示法框架结构框架表示法的特点第四章状态空间表示法状态算符问题的状态空间二阶梵塔难题爬山法八皇后问题图搜索问题图的概念图搜索分类盲目式搜索启发式搜索与或图博弈与博弈树博弈树极大极小搜索（Max-Min搜索）α\alphaα-β\betaβ剪枝搜索第五章合一及合一算法归结演绎推理鲁滨逊归结原理归结反演正向和反向推理方法正向演绎系统逆向演绎系统补充：人工神经网络感知机梯度
2021-11-01 20:53:45
2562
原创 【论文笔记】Instance-Adaptive Graph for EEG Emotion Recognition
摘要为解决EEG情绪识别的个体差异与表征EEG不同区域之间的动态关系，提出了实例自适应图方法。为拟合不同的脑电模式，采用额外分支来表征不同脑电通道间的内在动态关系。设计了多级多图卷积和图粗化。提出了一种稀疏图形表示，用于提取更多鉴别特征。现在模型的弊端EEG可以直接测量脑电活动，其中包含了丰富的与情绪相关的信息，有助于揭示人类的情绪。由于脑电数据分布不规则，所以图提供了一种有效的联系方法。经典CNN及GCNN中使用的图大多基于节点间的一些字然连接或空间位置，不适用于脑电信
2021-08-26 01:12:29
1203
4
原创 【论文笔记】MobileNet的理解与实现
MobileNet出现原因在真实应用场景或嵌入式设备中，需要延迟较低，响应速度较快的模型。实现目的的两个方向：对训练好的复杂模型进行压缩得到小模型。直接设计小模型并进行训练。MobileNet属于第二种实现方式。MobileNet网络结构以上为MobileNet的整体结构，总体是由Conv结构于Conv dw结构堆叠而成。以上为Conv结构。以上为Conv dw结构。MobileNet首先是经过一个3 × 3的标准卷积，然后堆叠depthwise separable convo
2021-08-21 12:56:41
577
原创 【论文笔记】对CBAM的简单理解
CBAM模型结构CBAM是一种mixed attention机制模块，是结合了空间（spatial）和通道（channel）的注意力机制模块。相比于仅关注一方面的attention机制模块，CBAM能两方兼顾，获得更好的效果。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ndmL9D4I-1629521394175)(https://z3.ax1x.com/2021/08/21/fvnJWq.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
2021-08-21 12:51:46
5168
转载 【论文笔记】Attention机制应用于CV领域——基础理解
Attention机制soft attention：更关注区域或通道，是一种确定性的注意力。软注意力是可微的，也就是说可以通过算出梯度并进行前向传播和后向传播来获得学习得到的注意力权重。hard attention：强注意力是随机的预测过程，更强调动态变化。强注意力不可微。CV中的Attention机制CV中的Attention机制大多集中于**掩码（mask）**来形成。掩码通过另一层新的权重从而将图中关键数据标识出来进行训练，从而获得注意力。Attention机制的本质：通过特征图学习权重分布
2021-08-20 22:35:53
622
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人