论文解读
文章平均质量分 91
深度学习、神经网络
对流层的酱猪肘
这个作者很懒,什么都没留下…
展开
-
论文解读20——OneNet: Enhancing Time Series Forecasting Models under Concept Drift by Online Ensembling
针对时间序列在线流数据的预测问题,提出了一种在线集成网络OneNet,对两个分别侧重于跨时间维度依赖关系和跨变量维度依赖关系的模型,使用基于强化学习的方法引入传统的在线凸规划中,动态调整权重进行线性组合,同时利用两种模型的优势解决数据随时间变化出现概念漂移的问题,提高预测精度。原创 2024-04-20 15:27:46 · 1065 阅读 · 0 评论 -
论文解读18——Crossformer: Transformer Utilizing Cross-Dimension Dependency for Multivariate Time Series
现有的Transformer类模型变体主要都是侧重于捕捉时间序列的跨时间依赖性,而忽略了变量之间的跨维度依赖性,基于此,该文针对多变量时间序列预测提出了Crossformer,这是一个基于Transformer的模型,考虑了跨维度依赖性。主要设计了三大结构:维度分段嵌入(DSW):负责保留时间和维度信息。每个维度的序列被分割成段,嵌入到特征向量中。两阶段注意力(TSA):有效捕捉跨时间和跨维度依赖性。分层encoder-decoder(HED):每一层对应一个尺度原创 2023-10-06 22:25:45 · 2413 阅读 · 2 评论 -
论文解读19——(PatchTST)A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
这篇是2023年ICLR的文章,提出了一种有效的多元时间序列预测和自监督表示学习模型 PatchTST,主要是基于Transformer做了以下两点改进:1、将时间序列按照一定大小的窗口和步长切分成Patch,作为模型输入的Token捕捉局部信息; 2、通道独立性:以多变量时间序列为例,每个通道包含一个单变量时间序列,共享相同的嵌入和权重。最后使得基于Transformer的PatchTST模型在长期预测上超过DLinear等SOTA模型原创 2024-01-24 23:37:33 · 2132 阅读 · 0 评论 -
论文解读17——Scaleformer: Iterative Multi-scale Refining Transformers for Time Series Forecasting
提出了一个通用的多尺度框架Scaleformer,可应用于多种时间序列预测SOTA的Transformer模型(如FEDformer、Autoformer等)。通过在多尺度上迭代地细化时间序列以更好地捕捉时间依赖性,并引入跨尺度标准化缓解因中间不同尺度分布造成的错误预测、引入自适应损失缓解因迭代造成的误差累积,提高模型性能。原创 2023-08-21 17:08:33 · 1606 阅读 · 4 评论 -
论文解读16——Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting
在以往的时间序列预测中,对于非平稳序列,都是直接进行平稳化来减弱原始序列的非平稳性,从而更好地进行下一步预测。而这篇针对非平稳时间序列预测提出,直接的平稳化操作会使原始序列失去原始序列的非平稳特性,阻碍深度模型的预测能力,文章中称为“过平稳化”。故该文提出了一个通用框架:Series Stationarization序列平稳化来减弱原始序列的非平稳性、De-stationary Attention去平稳注意力避免过平稳化,使模型能捕捉时间依赖,提高预测性能原创 2023-07-26 21:57:25 · 1221 阅读 · 0 评论 -
论文解读15——LightGBM: A Highly Efficient Gradient Boosting Decision Tree
提出了一个轻量级的梯度提升算法**LightGBM**,是GBDT算法的另一个实现,针对XGBoost的局限,在保持精确度的情况下对内存和效率上进行了优化。采用直方图算法Histogram解决分裂点数过多的问题。基于梯度的单边采样算法GOSS解决样本量过多的问题。采用互斥特征捆绑算法EFB解决特征过多的问题。原创 2023-03-10 21:37:12 · 711 阅读 · 1 评论 -
论文解读14——XGBoost:A Scalable Tree Boosting System
在原有GBDT的基础上提出了XGBoost,一种高效的极端梯度提升树模型,其属于boosting算法的一种,利用加法模型和前向分布算法将多个弱学习器集成为强学习器实现优化。原创 2023-03-01 22:53:29 · 677 阅读 · 0 评论 -
论文解读13——TransBoost: A Boosting Tree KernelTransferLearningAlgorithm for ImprovingFinancial Inclusion
为了解决金融产品中新用户数据及标签获取困难等问题,发展普惠金融,文中提出了新的迁移学习算法TransBoost,对传统迁移学习方法核均值匹配KMM模型进行了推广,将提升树作为内核来结合树模型和内核方法的优点,能够处理高维特征和稀疏数据,提高了金融包容性。原创 2023-01-29 22:01:49 · 515 阅读 · 0 评论 -
论文解读12——NGBoost: Natural Gradient Boosting for Probabilistic Prediction
由吴恩达团队提出的NGBoost是一种通过梯度提升进行概率预测的算法,与经典的回归模型返回一个点估计结果不同,概率回归模型返回全概率分布,将条件分布的参数视为多参数提升算法的目标,将梯度提升推广到概率回归,允许对不确定性进行预测估计。原创 2023-01-17 21:53:45 · 1148 阅读 · 0 评论 -
论文解读11——FOCUS: Flexible Optimizable Counterfactual Explanations for Tree Ensembles
提出了一种基于树集成的反事实解释方法,将寻找反事实的问题转化为基于梯度的优化问题,并扩展了以前只能用于可微分模型的技术,提供了用于优化的基于树模型的可微近似框架,产生有效的反事实解释。原创 2023-01-15 21:13:08 · 424 阅读 · 0 评论 -
论文解读10——Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
这篇是2021年AAAI的best paper,主要提出了Informer模型来解决Transformer中无法用于长时间序列预测的问题,提高了长时间序列预测问题的能力。原创 2022-12-18 22:39:38 · 1260 阅读 · 0 评论 -
论文解读9——TabNet: Attentive Interpretable Tabular Learning
跟神经网络相比的话,决策树这类的树模型有以下几个特点:训练速度快、可解释性强、比较适合应用于表格数据。而神经网络有着较好的端到端学习的表征学习能力,可以减轻对特征工程的需求。所以这篇文章的想法就是让神经网络去模拟决策树的行为,从而获得这两者的能力。原创 2022-10-09 22:41:04 · 1919 阅读 · 0 评论 -
论文解读7——Graph Attention Networks(GAT)
提出了图注意力网络GAT,通过引入注意力机制计算出每个节点和与之相关联节点间的重要性系数,从而解决GCN中对每个节点同等重要的问题。原创 2022-07-13 21:56:47 · 1505 阅读 · 0 评论 -
论文解读8——Attention Is All You Need
提出了一个完全基于注意力机制的网络结构 transformer 来处理序列相关问题,跟以往不同,没有用到CNN和RNN的结构,将 encoder-decoder 中的循环层替换成了multi-head attention机制,且能够实现并行化操作提高模型效率。...原创 2022-07-13 21:53:09 · 866 阅读 · 0 评论 -
论文解读6——Semi-Supervised Classification With Graph Convolutional Networks(GCN)
提出了一种基于图结构的半监督学习方法GCN,解决CNN无法处理不规则数据的问题,通过谱图卷积的局部一阶近似将卷积操作应用到图结构等不规则的数据中进行半监督分类。原创 2022-07-12 23:25:41 · 729 阅读 · 0 评论 -
论文解读5——Deep Residual Shrinkage Networks for Fault Diagnosis
为了提高对高噪声振动信号的特征学习能力,提高故障诊断精度,文献提出了一种新的深度学习方法——深度残差收缩网络。在深层结构中插入软阈值作为非线性变换层,以消除不重要的特征。此外,考虑到阈值的合理取值通常具有挑战性,开发的深度残差收缩网络集成了一些专门的神经网络作为可训练模块来自动确定阈值,从而不需要信号处理方面的专业知识。...原创 2022-06-09 11:36:01 · 773 阅读 · 0 评论 -
论文解读4——Identity Mappings in Deep Residual Networks(Resnet下篇)
文章分析了残差网络背后的的传播机制,表明了前向传播和反向传播的信号可以直接从一个模块传播到另一个模块,并且用实验证明了跳跃连接中恒等映射的重要性,也由此提出了一个新的残差单元来提高模型泛化能力。...原创 2022-06-07 22:39:25 · 357 阅读 · 0 评论 -
论文解读3——Deep Residual Learning for Image Recognition(Resnet上篇)
这篇文献中提出的残差网络Resnet是2015年微软实验室的何凯明团队在ImageNet计算机视觉挑战赛中斩获第一名的网络,且在同年的多个图像分类、目标检测竞赛中均获得第一名。主要想解决的是这么一个问题:在神经网络层数越来越深的时候,它的准确率在达到饱和后会出现下降这样一种退化的情况。...原创 2022-06-04 18:35:54 · 543 阅读 · 0 评论 -
论文解读2——On The Variance Of The Adaptive Learning Rate And Beyond
Adam等自适应学习率算法在训练早期因样本数量不足会有较大的方差,文献中对自适应学习率的方差进行了修正,并提出了Adam的新变体RAdam,实验结果证明了该方法的有效性。原创 2022-06-02 17:57:50 · 578 阅读 · 0 评论 -
论文解读1——Adam: A Method For Stochastic Optimization
目录1、优化算法到底是个啥2、几种经典的优化算法2.1 梯度下降(GD)2.1.1 批量梯度下降(BGD)2.1.2 随机梯度下降(SGD)2.1.3 小批量梯度下降(SBGD)2.2 动量(momentum)2.3 Nesterov动量(NAG)2.4 AdaGrad2.5 RMSprop3、文章贡献4、Adam优点5、Adam算法6、Adam更新规则7、初始化偏差修正8、收敛性分析9、实验分析10、扩展:Adamax11、总结第一次阅读英文文献,可能解读的不太到位。前些天看了一位作者写的“学生为什么原创 2022-05-22 21:52:34 · 3718 阅读 · 0 评论