![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习零散记录
文章平均质量分 87
用于对模型、损失等机器学习相关的内容进行记录
清流自诩
折尽九月桂,胡添腊月梅。
展开
-
【异常检测小集】
异常检测学习和记录原创 2023-11-14 16:43:05 · 140 阅读 · 0 评论 -
【时序论文小集】
学习并记录目前的时序模型和论文原创 2023-04-17 21:31:40 · 949 阅读 · 3 评论 -
【文章学习系列之模型】TimeGPT-1
《TimeGPT-1》是2023年公开于arXiv的一篇文章,该文章以chatgpt为灵感,提出一种基础时序大模型TimeGPT。该方案的提出致力于解决数据集规模不够大、模型泛化能力不强以及调参难度不易的问题,证明了更复杂更多样的数据集提高了更大规模的模型预测效果。原创 2023-12-06 14:31:34 · 629 阅读 · 0 评论 -
【文章学习系列之模型】Feature Encoding with AutoEncoders for Weakly-supervised Anomaly Detection的无名模型
第一眼看这篇论文,便感觉和DAGMM类似,深入去了解后,会发现这篇文章只是结构类似,而其余内容则从不同的角度入手,比如弱监督、新编码策略等。这篇文章较好地解决了少量异常数据标记的问题,在具有少量异常数据标签的情况下,可以用这个方法试一试。原创 2023-11-14 16:28:49 · 403 阅读 · 0 评论 -
【文章学习系列之模型】DAGMM
这篇论文的模型结构和训练方式对后来的研究者有着深远的影响,不少异常检测的无监督研究依旧是沿用这一套路线继续探索,并取得了不错的效果。原创 2023-11-14 15:55:03 · 592 阅读 · 0 评论 -
【文章学习系列之模型】Koopa
《Koopa: Learning Non-stationary Time Series Dynamics with Koopman Predictors》是2023年发表于NeurIPS的一篇论文。考虑到时序预测中训练和推理数据之间甚至每个回溯窗口之间存在巨大的分布差距,作者结合动态模式分解(DMD)[近似库普曼算子的领先数值方法],提出一种新的非平稳时序预测模型,实验表明模型轻量高效且具备分布变化的自适应能力。原创 2023-10-24 21:44:35 · 722 阅读 · 0 评论 -
【文章学习系列之模型】SCALEFORMER
《SCALEFORMER: ITERATIVE MULTI-SCALE REFINING TRANSFORMERS FOR TIME SERIES FORECASTING》是2023年发表于ICLR上的一篇论文。作者发现在对不同时间尺度预测的尝试下,逐渐细化预测颗粒有利于时序预测,因此在论文中提出了一种通用多尺度框架,实验表明显著提高前人Transformer系列模型的实验效果。原创 2023-05-31 00:02:00 · 1315 阅读 · 4 评论 -
【文章学习系列之技巧】Network Slimming
这是一篇2017年发表于ICCV的一篇论文。该论文指出深度卷积神经网络的应用受到了高计算成本的阻碍,并提出一种修剪模型结构的方式用于降低这种成本,使得模型大小减小、运行内存减小且不降低精度的情况减少参数量。原创 2023-05-24 21:30:44 · 543 阅读 · 0 评论 -
【文章学习系列之模型】DLinear
《Are Transformers Effective for Time Series Forecasting?》是2023年发表于AAAI上的一篇文章。该文章以“Transformer在时序预测中是否有效”为论点展开讨论,并提出一种非Transformer系列的简易网络模型。原创 2023-05-09 13:22:31 · 3066 阅读 · 0 评论 -
【文章学习系列之模型】Non-stationary Transformers
《Non-stationary Transformers:Exploring the Stationarity in Time Series Forecasting》是2022年发表于NeurIPS上的一篇文章。在过去的时序预测研究中,人们常通过数据平稳化减弱原始序列的非平稳性,这一做法与时序预测对突发事件预测的意义相悖,忽略了现实场景下非平稳数据的普遍存在性,最终导致建模和预测过平稳化。为了解决这个问题,该论文提出由序列平稳化和逆平稳化注意力组成的新的网络结构。原创 2023-05-01 18:01:30 · 2120 阅读 · 0 评论 -
【文章学习系列之模型】Informer
《Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting》是2021年发表于AAAI的一篇论文。常规自注意机制和Transformer模型已达性能瓶颈,作者尝试寻找新的方法来提高Transformer模型的性能,使其在具备更高效计算、内存和架构能力的同时,又能拥有更优异的预测能力。基于此,该论文提出了一种新的时序预测思路和自注意力机制。原创 2023-04-25 22:03:24 · 4229 阅读 · 3 评论 -
【文章学习系列之模型】PatchTST
《A Time Series is Worth 64 Words: Long-term Forecasting with Transformers》是2023年发表于ICLR的一篇文章。该文章借鉴了计算机视觉领域的Vision Transformer(ViT)的方法,仅使用Encoder部分,提出了一种时序分块方法。原创 2023-04-21 22:57:04 · 3097 阅读 · 11 评论 -
【文章学习系列之模型】Autoformer
《Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting》是2021年发表于NeurIPS上的一篇文章。该文章针对时序预测问题,提出一种时序分解模块并对注意力模块进行创新。原创 2023-04-09 01:14:50 · 2334 阅读 · 2 评论 -
【文章学习系列之模型】FEDformer
《FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting》是2022年发表于ICML的一篇论文。原创 2023-04-17 20:07:51 · 5305 阅读 · 1 评论 -
【文章学习系列之模型】TimesNet
《TIMESNET: TEMPORAL 2D-VARIATION MODELING FOR GENERAL TIME SERIES ANALYSIS》是2023年发表于ICLR上的一篇文章,主要针对时序预测问题提出了一种新方法。值得一提的是,该论文的作者同时还是2021年Autoformer的作者,因此代码的整体框架变动不大。原创 2023-04-05 19:16:55 · 5365 阅读 · 18 评论 -
学了就忘系列——记录网络1(LeNet、Vgg、Alex、Google)
【代码】学了就忘系列——记录网络1(LeNet、Vgg、Alex、Google)原创 2023-02-24 00:50:10 · 138 阅读 · 0 评论