论文笔记目录（ver2.0）

1 时间序列

1.1 时间序列预测

论文名称	来源	主要内容
论文笔记：DCRNN （Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting）_UQI-LIUWJ的博客-CSDN博客	iclr 2017	使用双向扩散卷积+GRU，建模空间和时间依赖性
论文笔记：Learning Traffic as Images: A Deep Convolutional Neural Network for Large-Scale Transportation_UQI-LIUWJ的博客-CSDN博客	2017 sensor	将交通数据视作image，使用CNN预测
机器学习笔记 soft-DTW（论文笔记 A differentiable loss function for time-series）_UQI-LIUWJ的博客-CSDN博客	2017 icml	soft-dtw，可微分版本的dtw PYTORCH 笔记 DILATE 代码解读_UQI-LIUWJ的博客-CSDN博客
论文笔记：Forecasting at Scale（Prophet）_UQI-LIUWJ的博客-CSDN博客	2017 facebook	时间序列分解成趋势，季节性和特定节假日的影响这三类
论文笔记： Spatiotemporal Recurrent Convolutional Networks for Traffic Prediction in Transportation Netwo_UQI-LIUWJ的博客-CSDN博客	2017 sensor	将交通数据作为image，使用CNN+LSTM
论文笔记：Deep Spatio-Temporal Residual Networks for Citywide Crowd FlowsPrediction_UQI-LIUWJ的博客-CSDN博客	2017 AAAI	ResNet+Conv 进行流入流出预测
论文笔记 Shape and Time Distortion Loss for Training DeepTime Series Forecasting Models_deep time series forecasting with shape and tempor_UQI-LIUWJ的博客-CSDN博客	2019 nips	不适用传统的MSE，使用DILATE (同时考虑时间的差异和shape的不同），来比较时间序列预测结果
交通预测论文笔记：Spatio-Temporal Graph Convolutional Networks: A Deep Learning Frameworkfor Traffic Forecast_UQI-LIUWJ的博客-CSDN博客	IJCAI 2018
论文笔记：Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks_UQI-LIUWJ的博客-CSDN博客	2018 SIGIR	CNN+RNN CNN捕获变量之间的局部依赖关系+短期模式 GRU捕获时序特征 skip-GRU捕获长期时序特征 将输出分成线性部分和非线性部分，线性部分用于预测局部突变等属性（自回归模型），非线性部分是GRU和skip-GRU线性组合得到的，用于预测长期全局特征
交通预测论文笔记《Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting》_UQI-LIUWJ的博客-CSDN博客	AAAI2019	ASTGCN: 1）使用空间注意力机制来建模空间层面复杂的相关性 2）使用时间注意力机制来捕获不同时间之间的动态时间相关性 3）使用图卷积来捕获交通图中的空间特征；以及不同时间篇之间的依赖关系
论文笔记： Modeling Extreme Events in Time Series Prediction_UQI-LIUWJ的博客-CSDN博客	2019 KDD	使用记忆网络来记忆历史记录中的极端事件 开发了一种新的损失函数，称为极值损失（EVL）【约束异常事件的分布】
论文笔记 Enhancing the Locality and Breaking the MemoryBottleneck of Transformer on Time Series Forecas_UQI-LIUWJ的博客-CSDN博客	NIPS 2019	transformer 用于时间序列 1，使用因果卷积使得Q,K计算过程中可以看到一定的局部性 2，提出LogSparse Transformer，将空间复杂度降至
论文笔记：Short-term FFBS demand prediction with multi-source data in a hybrid deep learning framework_UQI-LIUWJ的博客-CSDN博客	IET Intelligent Transport Systems 2019	结合天气和空气质量数据，使用LSTM+ConvLSTM 预测浮动共享单车的短时流量预测
论文笔记：N-BEATS: NEURAL BASIS EXPANSION ANALYSIS FORINTERPRETABLE TIME SERIES FORECASTING_UQI-LIUWJ的博客-CSDN博客	ICLR 2020	利用深度学习解决单变量时间序列点预测问题 提出了一种基于后向和前向残留链路和一个非常深的全连接层堆栈的深度神经结构。该模型具有可解释性
论文笔记： MOGRIFIER LSTM_UQI-LIUWJ的博客-CSDN博客	ICLR 2020	传统的LSTM中，输入和隐藏状态完全独立 这里在输入LSTM之间，将输入和隐藏状态进行交互
论文笔记：Multitask Learning and GCN-Based Taxi Demand Prediction for a Traffic Road Network_UQI-LIUWJ的博客-CSDN博客	2020sensor	GCN+LSTM+multi task
论文笔记：Unsteady Multi-Element Time Series Analysis and Prediction Based on Spatial-Temporal Attention_UQI-LIUWJ的博客-CSDN博客	2020 MDPI	时空注意力机制
论文笔记 A Spatial-Temporal Decomposition Based Deep Neural Network for TimeSeries Forecasting_UQI-LIUWJ的博客-CSDN博客		时空数据分解+ Conv LSTM
论文笔记：Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks_UQI-LIUWJ的博客-CSDN博客	2020KDD	自适应学习邻接矩阵+时间卷积+图卷积
论文笔记：Traffic Flow Prediction via Spatial Temporal Graph Neural Network_UQI-LIUWJ的博客-CSDN博客	2020WWW	图神经网络+图注意力——空间依赖关系 RNN+Transformer——短期&长期依赖关系
论文笔记： Flow Prediction in Spatio-Temporal Networks Based on Multitask Deep Learning_UQI-LIUWJ的博客-CSDN博客	2020 TKDE	基于FCN，同时预测时空中的节点和边缘的流量
论文笔记：Fine-Grained Urban Flow Prediction_UQI-LIUWJ的博客-CSDN博客	2021 WWW
交通预测论文翻译：Deep Learning on Traffic Prediction: Methods,Analysis and Future Directions_UQI-LIUWJ的博客-CSDN博客	IEEE Transactions on Intelligent Transportation Systems 2021	综述性质论文，同时给出了一些公共数据集
论文笔记：Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting_UQI-LIUWJ的博客-CSDN博客 informer辅助笔记：utils/timefeatures.py-CSDN博客 Informer辅助笔记：data/dataloader.py-CSDN博客 informer辅助笔记：exp/exp_informer.py-CSDN博客 informer 辅助笔记：main_informer.py-CSDN博客	2021 aaai best paper	定义第i个query的稀疏性测量值 选取最大的个Q，以计算attention 权重 计算M时，选取个 qi,kj对，其他qikj=0 ——>对于self-attention来说，时间复杂度为O(LlogL)
论文笔记：Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting_UQI-LIUWJ的博客-CSDN博客	2021 NIPS	将趋势-周期性分解从数据预处理挪到模型架构中；encoder逐步将趋势项剥离，decoder再逐步将趋势项加上 复杂度是O(nlogn)，但是考虑了所有点（而并不像之前的Transformer一样进行稀疏attention） 同时用autoCorrelation代替逐点Transformer，通过序列相似度而不是点相似度得到attention
论文笔记：Adjusting for Autocorrelated Errors in Neural Networks for Time Series_UQI-LIUWJ的博客-CSDN博客	2021 nips	使用残差而不是时间序列本身进行预测
论文笔记：An Improved STL-LSTM Model for Daily Bus Passenger Flow Prediction during the COVID-19 Pandemic_UQI-LIUWJ的博客-CSDN博客	2021 sensor	新冠疫情下车流量预测 stl先将时间序列分解成趋势、周期、残差，然后分别使用LSTM进行预测
论文笔记：PYRAFORMER: LOW-COMPLEXITY PYRAMIDAL ATTENTION FOR LONG-RANGE TIME SERIES MODELING AND FORECAST_UQI-LIUWJ的博客-CSDN博客	2022 ICLR oral	也是金字塔结构的Transformer，和TriFormer的区别是，这里金字塔不同尺度的点，都是由原始时间序列经过卷积操作转化得来的 时间复杂度O(L)
论文笔记：FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting_UQI-LIUWJ的博客-CSDN博客	2022ICML	和AutoFormer类似，也是趋势-周期性分解再模型框架中 理论证明了随机选择m个DFT的谱域元素，可以很好的保留时间序列的信息 在谱域上进行attention 复杂度是O(n)
论文笔记 Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecas-CSDN博客	2022CIKM	空间、time in day、day in week 分别求一个embedding，只使用 全连接层
论文笔记：Non-stationary Transformers: Rethinking the Stationarity in Time Series Forecasting-CSDN博客	2022	不平稳时间序列（均值、方差随时间变化）的时候，如何使用Transformer
论文笔记：Dual Dynamic Spatial-Temporal Graph ConvolutionNetwork for Traffic Prediction-CSDN博客	IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS 2022	交通图、交通超图互相转化，一起对时空依赖关系的建模做贡献
论文笔记：COST: CONTRASTIVE LEARNING OF DISENTANGLEDSEASONAL-TREND REPRESENTATIONS FORTIME SERIES FOREC_UQI-LIUWJ的博客-CSDN博客	ICLR 2022	将时间序列解耦成趋势表征和周期表征，同时使用了对比学习
论文笔记：Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency-CSDN博客	2022 neurips	本文找到了一种不论在什么样的时间序列数据集中都存在的规律，那就是一个时间序列的频域表示和时域表示应该相似 ——>提出了Time-Frequency Consistency (TF-C)的核心架构，以对比学习为基础，让时域和频域的序列表示尽可能接近
论文笔记 Triformer: Triangular, Variable-Specific Attentions for Long SequenceMultivariate Time Series_UQI-LIUWJ的博客-CSDN博客	2022 IJCAI	使用attention进行长期时间序列分解。通过patch attention，使得复杂度维O(n)
论文笔记：TIMESNET: TEMPORAL 2D-VARIATION MODELINGFOR GENERAL TIME SERIES ANALYSIS_UQI-LIUWJ的博客-CSDN博客	2023 ICLR	将一维时间序列转换成谱域上的二维时间序列张量，利用CNN变体模型捕获周期内和周期间时间序列特征，在短期时间序列预测、长期时间序列预测、时间序列补全、时间序列异常检测、时间序列分类任务中都表现不俗
论文笔记：Are Transformers Effective for Time Series Forecasting?_UQI-LIUWJ的博客-CSDN博客	AAAI2023 oral	一个简单的线性模型，在时间预测上效果比基于Transformer的模型都要好——>作者质疑Transformer是否可以很好地适用于时间序列预测问题中 Transformer模型建模时间序列依赖性，是不是主要依靠podition embedding和temporal embedding？
论文笔记：A Time Series is Worth 64 Words: Long-term Forecasting with Transformers_UQI-LIUWJ的博客-CSDN博客	2023 ICLR	将相邻时间序列的点合成一个patch，进行patch级别的Transformer
论文笔记：PATCHMIXER: A PATCH-MIXING ARCHITECTURE FOR LONG-TERM TIME SERIES FORECASTING_hierarchical patch mixer-CSDN博客	2023 10 arxiv
论文笔记：TILDE-Q: A TRANSFORMATION INVARIANT LOSS FUNCTION FOR TIME-SERIES FORECASTING_UQI-LIUWJ的博客-CSDN博客	2023 ICLR（未中）	重新设计时间序列预测损失函数，是之能区分Amplitude Shifting、phase shifting和Uniform Amplification
论文笔记：CROSSFORMER: TRANSFORMER UTILIZING CROSSDIMENSION DEPENDENCY FOR MULTIVARIATE TIME SERIES FOREC-CSDN博客	ICLR 2023	时间序列分块+时间/channel-wise attention
论文略读：FDTI: Fine-grained Deep Traffic Inference with Roadnet-enriched Graph （PKDD2023)-CSDN博客	2023 PKDD	在细粒度设定下，交通流量由交通信号决定。 当信号灯变绿时，车辆能够流向下游道路。 因此，在交通预测背景下，这些道路之间的相关性很强
论文笔记：FlashST: A Simple and Universal Prompt-Tuning Framework for Traffic Prediction-CSDN博客		提出了一个时空上下文提取机制，捕获来自未见数据的上下文信号，有助于适应多种时空场景 引入了一个统一的分布映射机制 通过正则化提示嵌入来对齐数据分布，促进从预训练到下游时空预测任务的有效知识转移
论文笔记：Spatio-Temporal Dynamic Graph Relation Learning for Urban Metro Flow Prediction_spatio-temporal graph few-shot learning with cross-CSDN博客		论文提出了一种适用于地铁流预测的时空动态图关系学习方法，可以建模不同站点的不同交通模式，并捕捉站点之间的动态空间依赖关系。
论文笔记：Spatiotemporal Attention Fusion Network for Short-Term Passenger Flow Prediction on New Year‘s_astdf-net: attention-based spatial-temporal dual-s-CSDN博客	IEEE Intellgent Transportation Systems Magazine, 2023	利用城市轨道交通历史客流数据和假期相关社交媒体数据预测未来假期客流
论文笔记：Interpretable Cascading Mixture-of-Experts for Urban Traffic Congestion Prediction-CSDN博客	2024 KDD	首次将MoE架构应用于行业级的拥堵预测应用 提出了一种自适应图学习专家（MAGLs）模块（上游图专家、下游图专家、全局图专家），并通过稀疏门控机制选择性地激活 为了增强模型对潜在数据缺失和噪声的鲁棒性，引入了两个专门的专家，分别关注捕捉稳定趋势和周期性模式 采用有序回归策略 缓解由于专家的归纳偏差和固有的类别不平衡问题而导致的专家过度自信，促进专家之间的有益合作
论文笔记：How Much Can Time-related Features Enhance Time Series Forecasting?-CSDN博客	202412arxiv	许多时间序列预测方法靠变量建模，却忽略了时间戳相关特征（如季节、月份、星期几、小时、分钟等） ——>论文尝试仅基于时间戳进行预测

 1.2 时间序列补全

论文名称	来源	主要内容
论文笔记 Spectral Regularization Algorithms for Learning Large IncompleteMatrices （soft-impute）_UQI-LIUWJ的博客-CSDN博客	2010 JMLR	基于迭代SVD的矩阵补全（软阈值+硬阈值） 对MF有很多理论的证明和说明（写论文的时候可以用来参考）
论文笔记:Temporal Regularized Matrix Factorization forHigh-dimensional Time Series Prediction_UQI-LIUWJ的博客-CSDN博客	NIPS 2016	TRMF 辅助论文：最小二乘法复现TRMF_UQI-LIUWJ的博客-CSDN博客 提出了一个新的时间正则化矩阵分解框架(TRMF)用于高维时间序列分析。
论文笔记 & R 笔记：imputeTS: Time Series Missing ValueImputation in R_UQI-LIUWJ的博客-CSDN博客		R语言包，进行单变量时间序列补全
论文笔记：Autoregressive Tensor Factorizationfor Spatio-temporal Predictions_UQI-LIUWJ的博客-CSDN博客	ICDM 2017	在TRMF的基础上，添加了空间自回归DAR的正则项
论文笔记： BRITS: Bidirectional Recurrent Imputation for Time Series_UQI-LIUWJ的博客-CSDN博客	2018NIPS	双向LSTM进行补全&时间序列分类/回归
论文笔记：Hankel Matrix Factorization for Tagged Time Series to Recover Missing Values during Blackouts_UQI-LIUWJ的博客-CSDN博客	2019 ICDE	对于连续数据缺失的补全（单变量时间序列）
论文笔记：NAOMI: Non-Autoregressive MultiresolutionSequence Imputation_UQI-LIUWJ的博客-CSDN博客	2019NIPS	使用双向RNN+分治（对抗学习）的方式进行补全
论文笔记：Matrix Completion in the Unit Hypercube via Structured Matrix Factorization_UQI-LIUWJ的博客-CSDN博客	2019IJCAI	EMF,SMF 用于 0~1的打分矩阵补全
论文笔记：Stochastic Weight Completion for Road Networks using Graph Convolutional Networks_UQI-LIUWJ的博客-CSDN博客	ICDE2019	graph-autoencoder
论文笔记 Traffic Data Reconstruction via Adaptive Spatial-Temporal Correlations_UQI-LIUWJ的博客-CSDN博客	part-c 2019	TAS-LR 论文辅助笔记 & 图拉普拉斯正则项推导_UQI-LIUWJ的博客-CSDN博客 MF+时间序列约束和自适应拉普拉斯正则化空间约束
论文笔记：Time Series Data Imputation: A Survey on Deep Learning Approaches_UQI-LIUWJ的博客-CSDN博客		20年（attention之前）的time series 补全论文综述
论文笔记：Learning Disentangled Representations of Video with Missing Data_UQI-LIUWJ的博客-CSDN博客	2020 NIPS	带缺失数据的视频补全、预测 使用VAE架构，将视频每个object的每一帧分解成appearance、pose和missingness
论文笔记：Mind the Gap An Experimental Evaluation of Imputation ofMissing Values Techniques in TimeSeries_UQI-LIUWJ的博客-CSDN博客	PVLDB 2020	12种方法的比较
论文笔记：SAITS: SELF-ATTENTION-BASED IMPUTATION FOR TIMESERIES_UQI-LIUWJ的博客-CSDN博客	2021	将self-attention运用到time-series中
论文笔记：Missing Value Imputation for Multi-view UrbanStatistical Data via Spatial Correlation Learning_UQI-LIUWJ的博客-CSDN博客	TKDE 2021	空间关联性的挖掘  多维度属性关联性的问题 时间信息的缺失 设计了一种空间相关的多核 K 均值 (S-MKKM) 方法来识别多视图之间的潜在关系并捕获区域相似性。 提出了一种自适应权重非负矩阵分解方法，以利用上面学到的信息来解决多视图缺失数据插补问题。 此外，所提出的方法还考虑了单视图信息补全模型的特点，同时考虑了 KNN 策略来利用真实地理信息。
论文笔记：HKMF-T: Recover From Blackouts in TaggedTime Series With Hankel Matrix Factorization_UQI-LIUWJ的博客-CSDN博客	2021 TKDE	对于连续数据缺失的补全（延伸到多变量时间序列）
论文笔记：FILLING THE G AP S: MULTIVARIATE TIME SERIES IMPUTATION BY GRAPH NEURAL NETWORKS_UQI-LIUWJ的博客-CSDN博客	2022 ICLR	空间encoder时message passing network 时空encoder是将message passing network应用到GRU里面
论文笔记：Spatial Data Imputation with Landmarks_UQI-LIUWJ的博客-CSDN博客		非负矩阵分解+拉普拉斯约束+landmark（landmark细节后续补充）
论文笔记：Multivariate Time-series Imputation with Disentangled Temporal Representations_UQI-LIUWJ的博客-CSDN博客	ICLR2023	使用MF的框架+解耦时间特征表征，进行时间序列补全

1.3 next-location 

论文名称	来源	主要内容
论文笔记：ATime-Aware Trajectory Embedding Model for Next-Location Recommendation-CSDN博客	Knowledge and Information Systems, 2018	提出了一个新颖的时间感知轨迹嵌入模型（TA-TEM）
论文阅读笔记：STAN: Spatio-Temporal Attention Network for Next Location Recommendation_UQI-LIUWJ的博客-CSDN博客		提出一种基于注意力机制的神经网络架构，考虑用户访问轨迹中每个访问点相较于整个过往访问轨迹的时空关系，以此对不相邻非连续但功能相近的访问点进行关联，打破以往仅仅关联连续、相邻访问点的限制。
论文笔记：Pre-training Context and Time Aware Location Embeddings from Spatial-TemporalTrajectories for U-CSDN博客	AAAI 2021	了处理上述地点嵌入中的问题，作者提出了场景化及时间感知的地点嵌入模型CTLE 通过学习得到的映射函数根据轨迹上下文动态生成地点嵌入
论文笔记：Context-aware multi-head self-attentional neural network model fornext location prediction-CSDN博客	2023 traffic part C2023 traffic part C	提出一个整合各种上下文信息的MHSA（multi head self attention）-based模型，用于下一位置预测 从原始位置访问序列、它们的时间特征（访问时间和活动持续时间）以及它们的土地使用功能中学习位置转换模式 通过POI数据和潜在Dirichlet分配（LDA），为每个位置生成多个空间尺度上的功能性土地使用语义
论文笔记： GETNext：Trajectory Flow Map Enhanced Transformer for Next-CSDN博客	SIGIR 2022
论文笔记：Predicting mobile users‘ next location using the semantically enriched geo-embedding model and-CSDN博客	2023 Computers, Environment and Urban Systems
论文笔记：A survey on next location prediction techniques, applications, and challenges-CSDN博客	EURASIP Journal on Wireless Communications and Networking 2022
论文笔记：DeepMove: Predicting Human Mobility with Attentional Recurrent Networks-CSDN博客
论文笔记：Spatial-Temporal Interval Aware Sequential POI Recommendation-CSDN博客	ICDE 2022

1.3.1 2023 humob workshop

论文笔记：Cell-Level Trajectory Prediction Using Time-embeddedEncoder-Decoder Network-CSDN博客 论文辅助笔记：Cell-Level Trajectory Prediction Using Time-embeddedEncoder-Decoder Network-CSDN博客
论文笔记：Human Mobility Prediction Challenge: Next LocationPrediction using Spatiotemporal BERT-CSDN博客 论文辅助笔记：LP_BERT-CSDN博客
论文笔记：Multi-perspective Spatiotemporal Context-aware NeuralNetworks for Human Mobility Prediction-CSDN博客
论文笔记：Estimating future human trajectories from sparse time series data-CSDN博客
论文笔记：GeoFormer: Predicting Human Mobility using GenerativePre-trained Transformer (GPT)-CSDN博客

 1.4 region representation

论文名称	来源	主要内容
论文笔记：Region Representation Learning via Mobility Flow_UQI-LIUWJ的博客-CSDN博客	2017 CIKM	使用了flow graph和spatial graph来学习region 向量表征 每一个点表示（地理空间上的点+时刻）

1.5 OD prediction

论文名称	来源	主要内容
论文笔记：Short-term origin-destination demand prediction in urban rail transit systems: A channel-wise a_交通 inflow outflow_UQI-LIUWJ的博客-CSDN博客		使用历史OD对，实时流入流出信息，预测地铁通行的OD
论文笔记：Contextualized Spatial–Temporal Network for Taxi rigin-Destination Demand Prediction_UQI-LIUWJ的博客-CSDN博客	2019 IEEE Transactions on Intelligent Transportation Systems	捕获源区域和目标区域的局部空间特征，融合气象数据捕获时间演化特征，捕获全局空间特征 release了一个纽约的OD公开数据集
论文笔记：DeepUrbanEvent: A System for Predicting Citywide Crowd Dynamics at Big Events-CSDN博客	2019 KDD oral	仅从当前瞬时的观测中提取“深度“趋势以生成对于短期内人群动态变化的准确预测 类似于视频预测的方式
论文笔记 Origin-Destination Matrix Prediction via Graph Convolution: aNew Perspective of Passenger Dema-CSDN博客	CIKM 2022	空余图神经网络（邻居信息传递） 地理空间邻接关系+语义邻接关系
论文笔记：Stochastic Origin-Destination Matrix Forecasting Using Dual-Stage Graph Convolutional, Recurren_UQI-LIUWJ的博客-CSDN博客	2020 ICDE	张量分解+Ses2Ses GRU+张量乘法，计算OD随机矩阵
论文笔记：Inferring Origin-Destination Flows FromPopulation Distribution_UQI-LIUWJ的博客-CSDN博客	TKDE 2022	attention-STGCN捕捉时空信息+POI分布辅助，作为源区域和目标区域embedding的权重
论文笔记：A survey on next location prediction techniques, applications, and challenges-CSDN博客	EURASIP Journal on Wireless Communications and Networking 2022

1.6 其他

论文名称	来源	主要内容
论文笔记：A Comprehensive Survey of Regression Based LossFunctions for Time Series Forecasting_UQI-LIUWJ的博客-CSDN博客		时间序列中常用的12种损失函数
论文笔记：Constructing spatiotemporal speed contour diagrams: usingrectangular or non-rectangular paralle_UQI-LIUWJ的博客-CSDN博客	2019 Transportmetrica B	使用平行四边形绘制交通栅格图
论文笔记 Understanding Electricity-Theft Behavior via Multi-Source Data-CSDN博客	WWW 2020 oral	提出了Hierarchical Electricity-theft Behavior Recognition (HEBR) 模型， 同时组合多源时序数据用于更准确的窃电行为识别。 发现气温变化与用户用电行为之间的密切关系
论文笔记：Urban visual intelligence: Uncovering hidden city profiles with street view images-CSDN博客	pnas 2022	基于计算机视觉和街景图像来探索城市环境与居民生活的关系
论文笔记：Uniform Sequence Better: Time Interval Aware Data Augmentation for Sequential Recommendation-CSDN博客	AAAI 2023	均匀序列比非均匀序列可以显著提高序列推荐的性能 提出了五个时间间隔感知的数据增强算子（Ti-Crop, Ti-Reorder, Ti-Mask, TiSubstitute, Ti-Insert）来将非均匀序列转换为均匀序列
论文略读：DuMapNet: An End-to-End Vectorization System for City-Scale Lane-Level Map Generation-CSDN博客	2024 KDD	给定鸟瞰图（BEV）图像，DuMapNet能够将多线条和多边形风格的地图元素统一建模为一组点

1.7 时间序列异常检测 

论文名称	来源	主要内容
论文笔记：Deep Learning for Anomaly Detection inTime-Series Data: Review, Analysis,and Guidelines_UQI-LIUWJ的博客-CSDN博客		20年时间序列异常检测综述

1.8 手机信令数据

论文名称	来源	主要内容
论文笔记：基于手机基站数据的混合地图匹配算法研究_UQI-LIUWJ的博客-CSDN博客	2014 交通运输系统工程与信息	根据基站切换数据，还原车辆路段轨迹数据
论文笔记：Enhancing spatial accuracy of mobile phone data usingmulti-temporal dasymetric interpolation_UQI-LIUWJ的博客-CSDN博客	INTERNATIONAL JOURNAL OF GEOGRAPHICAL INFORMATION SCIENCE, 2017	使用手机信令数据+区域楼房高度+区域人口活动数据，精细化区域人口分布于情况
论文笔记：Spatial Accuracy Evaluation for Mobile PhoneLocation Data With Considerationof Geographical C-CSDN博客	2020 ieee access	识别对MPL（移动电话位置）数据的空间准确性有显著影响的关键地理因素 基于这些关键地理因素构建定位偏差的定量评估模型
论文笔记：TRANSIT: Fine-grained human mobility trajectory inference at scalewith mobile network signalin-CSDN博客	Part C 2021	使用网络信令数据（NSD）提取精准的用户位置信息 利用人类移动性的重复性质，即同一个个体通常在两个相同的给定位置之间进行多次旅行，通常遵循非常相似的路径
论文笔记：GatedRecurrent Unit withRSSIs from Heterogeneous Network forMobile Positioning-CSDN博客	2021 Mobile Information Systems	采用了一种基于异构网络的定位方法，考虑了来自蜂窝网络和Wi-Fi网络的RSSIs（接收信号强度指示器） 使用GRU来提取RSSI序列的时间特性以及RSSIs与GPS坐标之间的相关性，以估计移动设备的位置
论文笔记：Influence of geographical determinants on the spatial distribution of positioning uncertainties-CSDN博客	Transactions in GIS. 2021	也是一篇评价定位偏差因素的文章
论文笔记：SelfHAR: Improving Human Activity Recognition through Self-training with Unlabeled Data-CSDN博客	Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 2021	半监督框架 通过自监督预训练补充有标记数据的监督训练，以利用大规模未标记数据集在HAR任务中捕获的信息 人类活动识别（HAR）
论文笔记：CellSense: Human Mobility Recovery via Cellular Network Data Enhancement-CSDN博客	2021 Proc. ACM Interact. Mob. Wearable Ubiquitous Technol.,	使用蜂窝计费记录（CBR）（用户通话、短信、互联网访问）时的数据（连接哪个基站） 设计一个恢复模型，来推断个别用户原始CBR数据间隙中历史遗漏的观测数据，以获得密集的CBR数据 使用DFS+最大似然估计，得到每一个路段 速度的均值和方差，用这个路段+速度+区域的人口分布+用户的特征作为联合特征向量，送入双向GRU中，得到对应的恢复基站位置/出行modality
论文笔记：Accurate Localization using LTE Signaling Data-CSDN博客	International Conference on Computer and Information Technology (CIT)	仅使用TA（时序提前）和RSRP【这里单位是瓦】（参考信号接收功率），以及所连接的基站，根据基于HMM的路网匹配得到精确位置
论文笔记：A Comprehensive Review of Indoor/Outdoor Localization Solutions in IoT era: Research Challenges-CSDN博客	Computer Networks 2022	室内室外 定位计数的综述
论文笔记：Spatio-Temporal Trajectory Similarity Measures: AComprehensive Survey and Quantitative Study_UQI-LIUWJ的博客-CSDN博客	2023	轨迹相似度最新综述 基于learning  or 不基于learning 自由空间 or 路网 单机 or 分布式
论文笔记：Accurate Map Matching Method for Mobile Phone Signaling Data Under Spatio-Temporal Uncertainty-CSDN博客	IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS 2023	使用移动电话信号数据(MSD)+HMM进行路网匹配

 1.9 轨迹相似

论文名称	来源	主要内容
论文笔记： Trajectory Clustering: A Partition-and-Group Framework_UQI-LIUWJ的博客-CSDN博客	07 SIGMOD	轨迹分成子线段+类DBSCAN的聚类方法
论文笔记：A Multi-source Trajectory Correlation Algorithm based on Spatial-temporal Similarity_UQI-LIUWJ的博客-CSDN博客	17 ICIF	异步多源轨迹相似度
论文笔记：Deep Representation Learning for Trajectory Similarity Computation_UQI-LIUWJ的博客-CSDN博客 t2vec 辅助笔记：evaluate.py-CSDN博客 论文 辅助笔记：t2vec train.py-CSDN博客 论文辅助笔记：t2vec models.py-CSDN博客 论文辅助笔记：T2VEC一个疑虑：stackingGRUCell和GRU的区别在哪里？-CSDN博客 t2vec 辅助笔记：data_utils-CSDN博客 论文辅助笔记：t2vec.ipynb-CSDN博客 论文辅助笔记：t2vec 模型部分-CSDN博客	2018 ICDE	将轨迹转变成grid 为token的sequence，输入低质量轨迹（低采样率），希望输出高质量轨迹（高采样率） 使用空间邻近感知的损失函数，相比于NLP的NLL loss，更好地适应时空任务 使用类似于skip gram的方法，预训练各个grid的embedding
论文笔记：Effective and Efficient Sports Play Retrieval with Deep Representation Learning_UQI-LIUWJ的博客-CSDN博客	19 KDD	比较体育比赛中两个play的相似程度 使用带负采样的skipgram建模play中每一子轨迹段的vector，然后使用
论文笔记：High-performance spatiotemporal trajectory matching across heterogeneous data sources_UQI-LIUWJ的博客-CSDN博客	2019 Future Generation Computer Systems	提出时空相似度+利用SPark 来进行异质时空轨迹相似度计算
论文笔记：Spatial-Temporal Similarity for Trajectories with Location Noise and Sporadic Sampling_UQI-LIUWJ的博客-CSDN博客	21 ICDE	判断两个轨迹相似于否，就是看在某些时刻（两个轨迹采样时间的并集），两个轨迹都在某一个网格的概率 轨迹数据是有定位误差和零星采样问题
论文笔记：PyTrack: A Map-Matching-Based Python Toolbox for Vehicle Trajectory Reconstruction_UQI-LIUWJ的博客-CSDN博客		python包，用于将GPS轨迹和openstreetmap对应 python 笔记：PyTrack（将GPS数据和OpenStreetMap数据进行整合）【官网例子解读】_UQI-LIUWJ的博客-CSDN博客
论文笔记：ST2Vec: Spatio-Temporal Trajectory SimilarityLearning in Road Networks_UQI-LIUWJ的博客-CSDN博客 julia 笔记/论文辅助笔记：T2vec 轨迹处理-CSDN博客 论文辅助笔记：t2vec 数据预处理-CSDN博客	22 KDD	T2Vec只考虑了空间相似性，没有考虑时间相似性 这里分别用GNN和LSTM建模空间和时间特征，然后将二者融合起来，送入带attention的LSTM，得到hidden embedding，通过计算hidden embedding的记录比较相似度
论文笔记：MTrajRec: Map-Constrained Trajectory Recovery via Seq2SeqMulti-task Learning_UQI-LIUWJ的博客-CSDN博客	22 KDD	seq2seq 低采样率轨迹，映射到 高采样率路网轨迹（串行预测所在的路网、当前路网多少比例的点） 同时考虑了每个点的POI，路段信息，和全局天气时间信息
论文笔记：TrajGAT: A Graph-based Long-term Dependency ModelingApproach for Trajectory Similarity Computa_UQI-LIUWJ的博客-CSDN博客	22 KDD	用空间PR四叉树描述轨迹，使用GAT代替Transformer里面的attention结构，建模长轨迹的依赖关系
1 论文笔记：Efficient Trajectory Similarity Computation with ContrastiveLearning_UQI-LIUWJ的博客-CSDN博客	22 CIKM	利用对比学习，来将轨迹映射到欧氏空间的hidden embedding上，同一个轨迹的不同augmentation（不同采样率+带一定的噪声）是正样本，其余的是负样本
论文笔记：Can Adversarial Training benefit Trajectory Representation? AnInvestigation on Robustness for-CSDN博客	22 CIKM	encoder-decoder学习轨迹的表示，但是加入了对抗训练——轨迹是网格序列，网格的embedding加入了梯度噪声 用GAN控制梯度噪声的大小 ——>这边论文的目的是学习带噪声的轨迹相似度
论文笔记：TMN: Trajectory Matching Networks for PredictingSimilarity-CSDN博客	22 ICDE	输入是轨迹对，使用轨迹点之间的attention+轨迹的embedding 作为LSTM的输入， loss function是ground-truth  轨迹距离 减去 预测的轨迹距离 这里轨迹不再转化成网格序列，而是使用线性层进行转化
论文笔记：DEEP DECLARATIVE DYNAMIC TIME WARPING FOREND-TO-END LEARNING OF ALIGNMENT PATHS_UQI-LIUWJ的博客-CSDN博客	2023 ICLR	连续可微DTW
论文笔记：Towards robust trajectory similarity computation: Representation‑based spatio‑temporal similar_UQI-LIUWJ的博客-CSDN博客	2023WWW （journal）	和T2vec极为类似，也是基于RNN的encoder-decoder 不一样的是建模为时空网格，临近关系为空间临近关系
论文笔记：GRLSTM: Trajectory Similarity Computation with Graph-Based Residual LSTM 2023 AAAI_UQI-LIUWJ的博客-CSDN博客	2023 AAAI
论文笔记：Contrastive Trajectory Similarity Learning withDual-Feature Attention_UQI-LIUWJ的博客-CSDN博客	23 ICDE	在网格序列的轨迹表示之外，额外地使用一个描述轨迹空间特征的四元组描述每个点 将网格序列+四元组序列同时作为魔改Transformer encoder的输入，得到对应随机的embedding 使用类似于MOCO的方式，更新encoder的参数
论文笔记（整理）：轨迹相似度顶会论文中使用的数据集_UQI-LIUWJ的博客-CSDN博客
论文笔记：Spatio-Temporal Trajectory Similarity Measures: AComprehensive Survey and Quantitative Study_UQI-LIUWJ的博客-CSDN博客
论文笔记：GEO-BLEU: Similarity Measure for Geospatial Sequences-CSDN博客	2023 sigspatial

1.10 轨迹匹配

论文名称	来源	主要内容
论文笔记：Map-Matching for low-sampling-rate GPS trajectories（ST-matching）_UQI-LIUWJ的博客-CSDN博客	ACM-GIS 2009	拓扑关系+速度，基于HMM的路径匹配
论文笔记：Hidden Markov Map MatchingThrough Noise and Sparseness_UQI-LIUWJ的博客-CSDN博客	09 sigspatial	和ST-MATCHING很接近
论文笔记：An Interactive-Voting Based Map Matching Algorithm_UQI-LIUWJ的博客-CSDN博客	2010 MDM	在ST-MATCHING的基础上，加入了投票的机制
论文笔记：基于手机位置信息的地图匹配算法_UQI-LIUWJ的博客-CSDN博客	2015 计算应用	基本上就是HMMM，多了一个高采样率 VS 低采样率的匹配结果对比
论文笔记：路网匹配算法综述_UQI-LIUWJ的博客-CSDN博客	17	路网匹配综述，主要是基于HMM的
论文笔记：Fast map matching, an algorithm integrating hidden Markov model with precomputation_UQI-LIUWJ的博客-CSDN博客	International Journal of Geographical Information Science 18	也是一个HMM结构，不过在计算路径距离前，先预计算了小于阈值Δ的路径，加快了寻找路径的时间。 同时增加了反向移动惩罚，避免反复横跳
论文笔记：Efficient and Effective Similar Subtrajectory Search with Deep Reinforcement Learning （子轨迹匹配）_UQI-LIUWJ的博客-CSDN博客	ICDE 2020	一个长轨迹和一个短轨迹的子轨迹匹配问题 使用强化学习的方法，action是轨迹在不在这个点进行分割
论文笔记：From driving trajectories to driving paths: a survey on map‑matching Algorithms_UQI-LIUWJ的博客-CSDN博客	2022	新的路网匹配方法
论文笔记：L2MM: Learning to Map Matching with Deep Models for Low-Quality GPS Trajectory Data_UQI-LIUWJ的博客-CSDN博客	2023 TKDD	本质上是一种encoder-decoder模型，只不过encoder的输出这里加上了学习pattern这个限制
论文笔记：Continuous Trajectory Generation Based on Two-Stage GAN_UQI-LIUWJ的博客-CSDN博客	2023 AAAI	轨迹生成，使用A*思路，RL算法，GAN框架
论文笔记：An iterative framework with active learning to match segments in road networks_UQI-LIUWJ的博客-CSDN博客	CARTOGRAPHY AND GEOGRAPHIC INFORMATION SCIENCE  2023	异源轨迹匹配 使用松弛矩阵进行轨迹匹配（矩阵第ij个元素表示源a 的路段i 匹配到源b 的路段j 的概率） 计算概率的时候，最有可能出问题的那些经过主动学习的思路进行更正，以更新概率矩阵，进而更新匹配结果

 1.11 轨迹恢复

论文笔记：MTrajRec: Map-Constrained Trajectory Recovery via Seq2SeqMulti-task Learning_UQI-LIUWJ的博客-CSDN博客	2021 KDD【路网空间】
论文笔记：Deep Trajectory Recovery with Fine-Grained Calibration using Kalman Filter-CSDN博客	TKDE 2021 【自由空间】 利用 subseq2seq获得可能在哪个grid里面，利用卡尔曼滤波得到准确的轨迹还原位置
论文笔记：AttnMove: History Enhanced Trajectory Recovery via AttentionalNetwork-CSDN博客	AAAI 2021 【自由空间】 利用轨迹内注意力机制设计了一个当前处理器用以初步填补缺失位置 利用另一个轨迹内注意力机制设计了一个历史处理器用以挖掘不同历史轨迹的周期性特征
论文笔记：SimiDTR: Deep Trajectory Recovery with Enhanced Trajectory Similarity-CSDN博客	DASFFA 2023 【自由空间】 利用不同轨迹之间的相似性来建模不完整轨迹的复杂移动规律
论文笔记：RNTrajRec: Road Network Enhanced Trajectory Recovery with Spatial-Temporal Transformer-CSDN博客	2023 ICDE 将轨迹还原到路网上，同时也是multi-task（哪个路段，多少比例）
论文略读：TrajRecovery: An Efficient Vehicle Trajectory Recovery Framework based on Urban-Scale Traffic -CSDN博客	2024 KDD  首个仅利用交通摄像头记录而非GPS数据的轨迹恢复框架

1.12时空外推

论文略读：Graph Neural Processes for Spatio-Temporal Extrapolation-CSDN博客

1.13 快递数据 

论文笔记：LaDe: The First Comprehensive Last-mile Delivery Dataset from Industry_lade数据集-CSDN博客

1.14 路段级别速度预测

 论文笔记：FDTI: Fine-grained Deep Traffic Inference with Roadnet-enriched Graph-CSDN博客

2 datamining

论文名称	来源	主要内容
论文笔记：Integrating Classification and Association Rule Mining （CBA算法）_UQI-LIUWJ的博客-CSDN博客	1998 KDD	生成类关联规则的完整集合，这个集合满足最小支持度以及最小置信度 建立一个基于类关联规则的分类器
Data Mining 论文翻译：Deep Learning for Spatio-Temporal Data Mining: A Survey_UQI-LIUWJ的博客-CSDN博客

3 其他 

论文名称	来源	主要内容
论文笔记 Bayesian Probabilistic Matrix Factorizationusing Markov Chain Monte Carlo （ICML 2008）_UQI-LIUWJ的博客-CSDN博客	ICML 2008	BPMF论文辅助笔记： 固定U，更新θU 部分推导_UQI-LIUWJ的博客-CSDN博客 https://blog.csdn.net/qq_40206371/article/details/120865455 在模型中使用了马尔可夫链蒙特卡罗(MCMC)方法进行近似推理 为超参数引入先验，并在参数和超参数上最大化模型的对数后验，从而允许基于训练数据自动控制模型的复杂性 。
机器学习笔记（伪标签）/论文笔记 Pseudo-Label: The Simple and Efficient Semi-Supervised Learning Method for Deep Neu-CSDN博客	2013 icmlW	未标记的数据由监督学习网络标记。（将具有最大预测概率的类作为伪标签） 然后使用标记数据和伪标记数据训练网络。
论文笔记：A multi-source dataset of urban life in the city of Milan and the Province of Trentino_UQI-LIUWJ的博客-CSDN博客	scientific data 2015	米兰市和特伦蒂诺省的电信、天气、新闻、社交网络和电力数据组成的数据
论文笔记：Localizing Cell Towers fromCrowdsourced Measurements-CSDN博客	2015	如何通过OpenCellID中的众包cell 数据，定位到对应的基站位置
论文笔记：[ICLR 2020] Tips for prospective and early-stage PhD students_UQI-LIUWJ的博客-CSDN博客	ICLR 2020
论文笔记：Honor of Kings Arena: an Environment forGeneralization in Competitive Reinforcement Learning_UQI-LIUWJ的博客-CSDN博客	NIPS2022	王者荣耀开悟平台
论文笔记：A survey of deep nonnegative matrix factorization_UQI-LIUWJ的博客-CSDN博客	2022	DNMF综述
论文笔记：MEASURING DISENTANGLEMENT: A REVIEW OF METRICS_UQI-LIUWJ的博客-CSDN博客	2022	解耦表征度量综述
论文笔记：The Impact of AI on Developer Productivity:Evidence from GitHub Copilot-CSDN博客	2023	对GitHub Copilot（一种人工智能编程助手）的控制实验结果

4 生物

论文名称	来源	主要内容
生物计算论文笔记1：The construction of next-generationmatrices for compartmentalepidemic models_UQI-LIUWJ的博客-CSDN博客		SEIR模型中基本再生数R0和下一世代矩阵NGM之间的关系
论文笔记：Highly accurate protein structure prediction with AlphaFold (AlphaFold 2 & appendix)_UQI-LIUWJ的博客-CSDN博客		利用Transformer变体，物理和生物知识，预测蛋白质3D结构 原子级别的误差
论文笔记：BridgeDPI: a novel Graph Neural Network for predicting drug–protein interactions_UQI-LIUWJ的博客-CSDN博客	2022 bioinformatics	在GNN中引入桥节点，以更好地描述蛋白质和药物之间的关系
论文笔记：Learning embedding features based on multisense-scaled attention architecture to improve the pr-CSDN博客	2021  Briefings in Bioinformatics	现有的研究都高度依赖手工特征作为训练预测模型的输入，没有采用适合处理顺序数据的高级深度学习技术 ——>论文提出了ACPred-LAF，一种基于可学习和自适应嵌入的新型肽表示学习模型 现在没有统一的基准数据集 ——>将现有数据集与标签验证相结合并消除现有数据集下的数据注释冲突，构建了一个新的、平衡的ACP基准数据集(ACP-Mixed)

 5 图

5.1 图聚类

论文名称	来源	主要内容
论文笔记：Weighted Graph Cuts without Eigenvectors:A Multilevel Approach_UQI-LIUWJ的博客-CSDN博客	TPAMI 2007	图中点聚类<——>kernel k-means
机器学习笔记： 聚类 模糊聚类与模糊层次聚类（论文笔记 Fuzzy Agglomerative Clustering :ICAISC 2015）_UQI-LIUWJ的博客-CSDN博客	ICAISC 2015	模糊聚类 + 分层聚类
机器学习笔记：node2vec（论文笔记：node2vec: Scalable Feature Learning for Networks）_UQI-LIUWJ的博客-CSDN博客	2016 KDD	Node2VEC 使用random walk+负采样进行graph中点的embedding
算法/论文笔记 Fluid Communities: A Competitive, Scalable and Diverse Community Detection Algorithm （2017）_UQI-LIUWJ的博客-CSDN博客	2017	graph点cluster 算法

5.2 GNN 

论文名称	来源	主要内容
论文笔记：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS_UQI-LIUWJ的博客-CSDN博客	ICLR 2017	Kipf GNN 使用一阶近似切比雪夫作为卷积核
论文笔记 Graph Attention Networks_UQI-LIUWJ的博客-CSDN博客	2018 ICLR	graph+attention
论文笔记：Graph WaveNet for Deep Spatial-Temporal Graph Modeling_UQI-LIUWJ的博客-CSDN博客	2019 IJCAI	首次提出自适应邻接矩阵的概念 时间依赖性：空洞卷积 空间依赖性：扩散图卷积（DCRNN的思路）+自适应邻接矩阵
论文笔记：Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting_UQI-LIUWJ的博客-CSDN博客	2020 NIPS	图卷积中每个节点一套参数（为避免节点过多时参数量爆炸，使用了矩阵分解） 自适应邻接矩阵 用上面两个模块替代GRU中的MLP
论文笔记：Graph neural networks: A review of methods and applications_UQI-LIUWJ的博客-CSDN博客	2020	20年一个比较全的GNN综述
论文笔记：E(n) Equivariant Graph Neural Networks_UQI-LIUWJ的博客-CSDN博客	2021ICML	在传统GNN的基础上，每个点不仅有标量信息，还有矢量信息，EGNN可以保证矢量经过EGNN之后平移、旋转、排列等变性
论文笔记：GraphSleepNet: Adaptive Spatial-Temporal Graph Convolutional Networks for Sleep Stage Classific_UQI-LIUWJ的博客-CSDN博客	IJCAI	自适应邻接矩阵+STGCN+时空注意力，用于睡眠阶段分类
论文笔记：DropMessage: Unifying Random Dropping for Graph Neural Networks_UQI-LIUWJ的博客-CSDN博客	2023 AAAI	1 提出了一种新的GNN上的随即丢弃方法，可以缓解GNN训练时的过拟合、过渡平滑、不鲁棒 2 整合之前的random drop 方法，他们是本文提出的DropMessage的特例 3 从理论上说明了，GNN上的random drop，等价于在损失函数上加了正则项
论文略读：Less is More: on the Over-Globalizing Problem in Graph Transformers-CSDN博客	icml 2024	Graph Transformer 中的过全局化问题 (Over-Globalizing Problem) 当前 Graph Transformer 的注意力机制过度关注那些远端节点，而实际上包含了大部分有用信息的近端节点则被相对忽视了 论文提出了一种新的采用协同训练的两级全局 Graph Transformer 方法 (CoBFormer)
论文略读：GOAt: Explaining Graph Neural Networks via Graph Output Attribution-CSDN博客	iclr 2024 reviewer评分 568	论文介绍了一种计算效率高的局部级GNN解释技术，称为图输出归因（GOAt） 将GNN输出归因于输入特征，利用GNN前向传播中的重复求和-乘积结构 通过将GNN展开为涉及节点特征、边缘特征和激活模式的标量乘积之和，论文提出了一种高效的分析方法来计算每个节点或边缘特征对每个标量乘积的贡献，并聚合扩展形式中所有标量乘积的贡献，以推导出每个节点和边缘的重要性。

5.3 图对比学习

论文名称	来源	主要内容
论文笔记：LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation_UQI-LIUWJ的博客-CSDN博客	ICLR 2023	使用近似奇异值分解以获得增强图信息
论文略读：Contrastive Learning is Spectral Clustering on Similarity Graph-CSDN博客	iclr 2024 reviewer评分 56610	论文证明了使用标准InfoNCE损失的对比学习等同于在相似性图上进行谱聚类

6 机器学习类

论文名称	来源	主要内容
论文笔记：On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima_UQI-LIUWJ的博客-CSDN博客	ICLR 2017	大batch size会导致在测试集上泛化效果不行，原因在于大batch学到的local minima太sharp
当分布 非正态分布时，能否使用Pearson Correlation？_UQI-LIUWJ的博客-CSDN博客		大部分情况下，Pearson correlation是很robust的，除非数据很不正态分布，且数据量不足。论文中比较了12种处理方法，并提出建议
论文笔记：Positive-incentive Noise_UQI-LIUWJ的博客-CSDN博客	2022 TNNLS	噪声也不都是坏处——>引入任务熵，判断噪声是正激励噪声还是纯噪声
论文略读：Benign Oscillation of Stochastic Gradient Descent with Large Learning Rate-CSDN博客	iclr 2024 reviewer评分 368	论文从理论上研究了通过随机梯度下降（SGD）且采用大学习率训练的神经网络（NN）的泛化特性 论文的发现是，由于SGD的大学习率引起的NN权重的振荡，实际上有利于NN的泛化，潜在地优于通过SGD以小学习率训练的、更平滑收敛的相同NN ——>将这种现象称为“良性振荡”
论文略读 Low Rank Matrix Completion via Robust Alternating Minimization in Nearly Linear Time-CSDN博客	iclr 2024	论文提出了错误鲁棒的交替最小化分析 展示了交替更新可以被表述为两个多响应回归，并且可以使用快速、高精度的求解器在近乎线性时间内解决它们 通过将鲁棒交替最小化框架与更快的多响应回归求解器结合起来，论文推导出了一个在时间O(|Ω|k)内解决矩阵补全问题的算法
局部最优点论文观点集锦-CSDN博客

7 强化学习

论文名称	来源	主要内容
论文笔记 Hierarchical Reinforcement Learning for Scarce Medical Resource Allocation_UQI-LIUWJ的博客-CSDN博客	KDD 2021	使用GRU来求解未知疾病状态 使用DQN来或者各区域重要性排序 使用actor-critic来求解各区域口罩病床分配情况 论文代码解读 Hierarchical Reinforcement Learning for Scarce Medical Resource Allocation_UQI-LIUWJ的博客-CSDN博客
论文笔记：STMARL: A Spatio-Temporal Multi-AgentReinforcement Learning Approach for Cooperative Traffic_UQI-LIUWJ的博客-CSDN博客		使用attention和LSTM进行空间和时间建模，然后对每个红绿灯分别进行强化学习，计算红绿灯控制方式
论文略读：ZipIt! Merging Models from Different Tasks without Training-CSDN博客	iclr 2024  reviewer 评分 5666	引入了“ZipIt!”，一种合并两个相同架构的任意模型的通用方法，该方法包含两个简单的策略。 首先，为了考虑模型间未共享的特征，论文扩展了模型合并问题，允许通过定义一个通用的“zip”操作来合并每个模型内的特征。 其次，论文添加了对模型部分zip直至特定层的支持，自然地创建了一个多头模型。

7.1 分层强化学习 

论文名称	来源	主要内容
论文笔记： Feudal Reinforcement Learning_UQI-LIUWJ的博客-CSDN博客		用Q-table实现的最早的层次强化学习
分层强化学习：基于选项（option）的强化学习/论文笔记 The Option-Critic Architecture 2017 AAAI_UQI-LIUWJ的博客-CSDN博客	AAAI 2017	两层决策，option可以视作一组action的时域抽象。上层策略现决定选择哪个option。然后option再选择执行哪些action，每个option有自己的策略函数和终止函数
论文笔记：When Waiting Is Not an Option:Learning Options with a Deliberation Cost AAAI 2018_UQI-LIUWJ的博客-CSDN博客	AAAI 2018	在上一篇option-critic的基础上，认为切换option的时候是有开销的，不能很频繁地切换option
论文笔记：Hierarchical Deep Reinforcement Learning:Integrating Temporal Abstraction and Intrinsic_UQI-LIUWJ的博客-CSDN博客		上层函数mata-controller根据state，从实现给定的目标集中选择一个目标传给底层函数controller，controller 根据状态s和目标g选择动作。 goal作为一个输入，所以不同的goal共享相同的Q函数
论文笔记：FeUdal Networks for Hierarchical Reinforcement Learning_UQI-LIUWJ的博客-CSDN博客		也是上层制定goal，下层实现。 不过和上一个H-DQN不同，这里并没有一个goal集合，这边学习的goal可以看成是一个direction，也就是状态S 变化的方向。如果下层学到的策略使得实际的状态按照goal的方向变化，那么reward会比较大
论文笔记：Universal Value Function Approximators_UQI-LIUWJ的博客-CSDN博客		求解V(s,g)。 由于(s,g)对很少，所以将s-g对组成的矩阵进行矩阵分解（行state，列goal）

8 CV

论文名称	来源	主要内容
论文/机器学习笔记：SENet （Squeeze-and-Excitation Networks）_UQI-LIUWJ的博客-CSDN博客	2017 ImageNet冠军	学习各个channel重要性权重，对channel进行重新加权
论文笔记：Spatial-Temporal Map Vehicle Trajectory Detection Using Dynamic Mode Decomposition and Res-UNe_UQI-LIUWJ的博客-CSDN博客		轨迹提取
论文笔记：CTSpine1K: A Large-Scale Dataset for Spinal Vertebrae Segmentation in Computed Tomography_UQI-LIUWJ的博客-CSDN博客		一个大规模脊柱分割/识别的数据集
论文笔记：nnU-Net: Self-adapting Frameworkfor U-Net-Based Medical Image Segmentation_UQI-LIUWJ的博客-CSDN博客		在经典U-Net的基础上，没有对模型架构进行修改，而是根据数据集自动进行数据预处理、模型架构参数选择、训练、inference等 医学影像分割
论文笔记：nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation_UQI-LIUWJ的博客-CSDN博客
论文笔记：ViTGAN: Training GANs with Vision Transformers_UQI-LIUWJ的博客-CSDN博客	2021	使用ViT而不是CNN来构建GAN 使用欧氏距离代替attention中的点积 同时调整初始化时候的权重矩阵
论文笔记： Masked Autoencoders Are Scalable Vision Learners_UQI-LIUWJ的博客-CSDN博客	cvpr2021	类似于BERT的MLM
论文笔记：Swin-Unet: Unet-like Pure Transformer for MedicalImage Segmentation_UQI-LIUWJ的博客-CSDN博客	CVPR 2021	swin transformer+u-net
论文笔记：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows_UQI-LIUWJ的博客-CSDN博客	ICCV 2021 best paper	基于窗口的transformer，具有多尺度信息，同时计算复杂度和图像的尺寸呈线性关系 pytorch 笔记： Swin-Transformer 代码_UQI-LIUWJ的博客-CSDN博客
论文笔记 TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation_UQI-LIUWJ的博客-CSDN博客		CNN+transformer 作为 Unet的encoder，进行医学图像分割
论文笔记：Not All Images are Worth 16x16 Words: Dynamic Vision Transformers with Adaptive Sequence Length_UQI-LIUWJ的博客-CSDN博客	Neurips 2021	将图形分成不同大小的token，token数量从小到大，由模型决定该使用多大token  size的ViT
论文笔记：Unsupervised Night Image Enhancement: When Layer Decomposition Meets Light-Effects Suppression_UQI-LIUWJ的博客-CSDN博客	2022 ECCV	夜间图像增强——抑制过曝，增强暗光
论文笔记：Hierarchical Contrast for Unsupervised Skeleton-based Action Representation Learning_UQI-LIUWJ的博客-CSDN博客	AAAI 2023 oral	3D骨架姿势识别 使用对比学习 不同于传统的对比学习，论文使用了层次化的对比学习loss，通过时间域和空间域不同粒度的对比学习loss，共同进行优化
论文笔记：Vision GNN: An Image is Worth Graph of Nodes-CSDN博客	neurips 2022	首次将图神经网络用于视觉任务，同时能取得很好的效果
论文略读：Is ImageNet worth 1 video? Learning strong image encoders from 1 long unlabelled video-CSDN博客	iclr 2024 oral reviewer评分 68888	自监督学习解锁了将预训练扩展到数十亿图像的潜力，因为不需要标注。但是，我们是否充分利用了数据？我们能更经济地使用数据吗？ 在这项工作中，论文尝试通过两个贡献来回答这个问题。 首先，论文研究第一人称视频并引入了一个“步行游”数据集。 这些视频具有高分辨率，长时间拍摄，一镜到底，展示了大量的物体和动作以及自然的场景转换。 它们未经标注和未经策划，因此对自监督来说是现实的，并且与人类学习相当。
论文略读：Window Attention is Bugged: How not to Interpolate Position Embeddings-CSDN博客	iclr 2024 reviewer 打分 6666	在使用窗口注意力时对位置嵌入进行插值是错误的

9 知识蒸馏

论文名称	来源	主要内容
论文笔记：Asymmetric Temperature Scaling Makes Larger Networks Teach Well Again_UQI-LIUWJ的博客-CSDN博客	Nuerips 2022	很多学者认为大的教师网络，并不能使得小的学生网络学习效果好 ——>temperature 过大的时候，导致教师网络输出像uniform-label，类别之间的差异性就没有了，仅仅起到了一个 label smoothing 的作用 ——>temperature 过小的时候，教师的输出结果像 hard-label，导致和正常分类损失相比没有什么额外的信息 本文通过将知识蒸馏损失函数分解，同时尽心理论分析，提出教师网络中正确的logit和错误的logit，使用的temperature应该不一样：正确的logit对应的τ应该大一些，错误的logit对应的tau应该小一些
论文笔记：Curriculum Temperature for Knowledge Distillation_UQI-LIUWJ的博客-CSDN博客	AAAI 2022	temperature自适应学：学生网络目标是减少KD loss，temperature 目标是增大KD loss 同时学的过程中增大temperature的权重，使得学生网络越来越难学
论文略读：Quantifying the Knowledge in a DNN to Explain Knowledge Distillation for Classification-CSDN博客	2022 TPAMI	知识蒸馏和知识点的关系
论文略读：Data Distillation Can Be Like Vodka: Distilling More Times For Better Quality-CSDN博客	iclr 2024 reviewer 评分 568	提出了渐进式数据集蒸馏（PDD） PDD合成多个小型合成图像集，每个集合都基于前一个集合，并在不需要额外训练时间的情况下，对这些子集的累积联合进行模型训练。

10 多模态

论文名称	来源	主要内容
论文笔记：Learning Transferable Visual Models From Natural Language Supervision（CLIP）_UQI-LIUWJ的博客-CSDN博客		CLIP 文本-图像对进行预训练，

11 地震学

论文名称	来源	主要内容
论文笔记：PhaseNet: a deep-neural-network-based seismic arrival-time pickingmethod_UQI-LIUWJ的博客-CSDN博客	2018 Geophysical Journal International	Unet+地震预测（检测P波S波到达时间）

12 对比学习

论文名称	来源	主要内容
论文笔记：SUPERVISED CONTRASTIVE REGRESSION_UQI-LIUWJ的博客-CSDN博客	2022	使用对比学习，用于辅助regression
论文笔记：When Do Contrastive Learning Signals Help Spatio-TemporalGraph Forecasting?_UQI-LIUWJ的博客-CSDN博客	2022 sigspatial	解决时空图预测+对比学习中的四个问题 Q1：在将对比学习与STG预测整合时，什么是适当的训练方案？（pretrain+finetune，还是联合训练？） Q2:对于STG，有两种可能的对象（节点或图）可以进行对比学习。应该选择哪一个？ Q3：应该如何执行数据增强以生成正对？增强方法的选择是否重要？ Q4：给定一个锚点，是否应该将所有其他对象视为负对？如果不是，如何筛选出不合适的负对？
论文速读：Do Generated Data Always Help Contrastive Learning?-CSDN博客	iclr 2024	论文发现：生成的数据并不总是有利于对比学习 仅仅将CIFAR-10通过DDPM生成的100万图像进行数据膨胀，反而导致线性探测精度更差
论文略读：Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hype-CSDN博客	2020 ICML	对比学习可以work，是因为他优化了两个目标： 正例表征相近 随机样例表征均匀分散在超球面上

14 NLP

论文笔记：Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks-CSDN博客	2015 ACL 提出 tree-lstm，不同于LSTM只是用上一步神经元，Tree-LSTM使用了所有子节点的隐藏输出

14 NLP

论文笔记：Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks-CSDN博客	Tree-LSTM 用到了所有子节点的隐藏输出
论文略读：CLEAR: Contrastive Learning for Sentence Representation-CSDN博客	结构和SimCLR类似，主要提出了四种数据增强构建负例句子的方法
论文略读：SimCSE: Simple Contrastive Learning of Sentence Embeddings-CSDN博客	EMNLP 2021 两个很简单的NLP对比学习方式

15 半监督学习

论文略读：REALISTIC EVALUATION OF SEMI-SUPERVISED LEARN ING ALGORITHMS IN OPEN ENVIRONMENTS-CSDN博客	iclr 2024 spotlight  reviewer 评分 8888 提出了几个基于鲁棒性分析曲线（RAC）的鲁棒性指标，以实现SSL算法的公平和全面评估 建立了一个理论框架来研究开放环境中SSL算法的泛化性能和鲁棒性