- 博客(50)
- 收藏
- 关注
RSS订阅原创 机器学习第四十八周周报 IAGNN
文章目录week48 IAGNN摘要Abstract0. 前言1. 题目2. Abstract3. 网络结构3.1 问题定义3.2 IAGNN4. 文献解读4.1 Introduction4.2 创新点4.3 实验过程4.4 实验结果5. 结论6.代码复现小结参考文献week48 IAGNN摘要本周阅读了题为Interaction-Aware Graph Neural Networks for Fault Diagnosis of Complex Industrial Processes的论文。该文提
2024-07-18 23:05:04
697
1
原创 机器学习第四十七周周报 CF-LT
本周阅读了题为Interpretable CEEMDAN-FE-LSTM-transformer hybrid model for predicting total phosphorus concentrations in surface water的论文。该文提出了一个用于 TP 预测的混合模型。文提出了一种针对TP预测的混合模型，即CF-LT模型。该模型创新地将完整集成经验模式分解（EMD）与自适应噪声处理、模糊熵分析、长短期记忆网络（LSTM）以及Transformer技术相结合。
2024-07-11 19:34:11
843
原创 机器学习第四十六周周报 FMP
本周阅读了题为Chasing Fairness in Graphs: A GNN Architecture Perspective的论文。该文提出了一种基于图神经网络（GNN）统一优化框架指导的公平消息传递方案（FMP），旨在提高图数据处理的公平性。该方案通过两个核心步骤实现：首先聚合图数据，随后明确追求代表各统计学群体中心以减少偏见。该方法构建了一个同时考虑公平性和数据平滑性的优化问题，并运用Fenchel共轭和梯度下降技术结合softmax函数特性来高效求解，生成既公平又信息丰富的节点表示。
2024-07-07 17:44:52
802
2
原创 机器学习第四十五周周报 SAM优化器
本周阅读了题为Sharpness-Aware Minimization for Efficiently Improving Generalization的论文。为了将损失数据与泛化过程关联，引入了一种新颖算法“锐度感知最小化”（SAM），该程序能同时最小化损失值和损失锐度。实证结果表明，SAM提高了多个基准数据集和模型的泛化能力，且对标签噪声具有鲁棒性。本文在末尾部分简要介绍了SAM程序的核心代码，并给出了简洁的注释。
2024-06-29 18:47:19
1002
原创 机器学习第四十四周周报 SAMformer
本周阅读了题为SAMformer: Unlocking the Potential of Transformers in Time Series Forecasting with Sharpness-Aware Minimization and Channel-Wise Attention的论文。研究发现，Transformer在小规模线性预测问题中表达能力虽强，但难以收敛至理想水平，其注意力机制导致泛化能力低。为此，该文提出一种轻量级Transformer模型，结合锐度感知优化，成功避免不良局部最小值。
2024-06-21 21:00:31
1072
原创 机器学习第四十三周周报 aGNN
本周阅读了题为Contaminant Transport Modeling and Source AttributionWith Attention‐Based Graph Neural Network的论文。该文提出了 aGNN，它是一种新颖的基于注意力的图神经建模框架，它结合了图卷积网络（GCN）、注意力机制和嵌入层来模拟地下水中的污染物传输过程系统。 GCN 通过传递节点和边的消息来提取图信息，以有效地学习空间模式。在这项研究中，将其应用扩展到学习地下水流和溶质输送问题的多个过程。此外，还采用新的坐标
2024-06-13 22:26:14
984
2
原创 机器学习周报第四十二周 STHTNN
本周阅读了题为Spatiotemporal hierarchical transmit neural network for regional-level air-quality prediction的论文。该文提出了一种时空分层传输神经网络(STHTNN)模型。该模型通过周期特征提取组件(PFEC)和时空依赖提取组件(STEC)分别从原始时间序列中提取长期周期特征和短期时空依赖关系，并使用传输注意力模块(TransATT)将两种特征进行融合，以生成具有长短期交互信息的特征，用于最终的回归预测层。
2024-06-07 20:49:11
667
原创 机器学习第四十一周周报 JTFT
本周阅读了题为A Joint Time-Frequency Domain Transformer for multivariate time series forecasting的论文。该文提出了一种联合时频域变换器（JTFT）。JTFT 使用少量可学习频率来利用频域 (FD) 中时间序列数据的稀疏性。此外，JTFT 还包含固定数量的最新数据点，以增强对时域局部关系的学习。这些设计降低了理论复杂性和实际计算量。
2024-06-01 23:53:57
934
原创 机器学习第四十周周报 WDN GGNN
本周阅读了题为Gated graph neural networks for identifying contamination sources in water distribution systems的论文。该研究针对 WDN 中的 CSI 开发了 GGNN 模型。它考虑WDN的拓扑来表示有效CSI的水质数据的时空分布特征。利用水流方向构建邻接矩阵来探索节点间的信息传递，并将传感器站采集的时间序列水质数据作为节点属性输入到GGNN模型中。
2024-05-24 22:12:32
1104
原创 机器学习周报第三十九周 DSAMDL
本周阅读了题为Multimodal deep learning water level forecasting model for multiscale drought alert in Feiyun River basin的论文。该文开发了一种新颖的混合深度架构，即基于双阶段注意力的多模态深度学习（DSAMDL），用于可靠且可解释的多尺度水位预测。
2024-05-18 21:29:51
663
2
原创 机器学习周报第三十八周 iTransformer
本周阅读了题为iTransformer: Inverted Transformers Are Effective for Time Series Forecasting的论文。考虑到多元时间序列的特点，该文提出了iTransformer，它在不修改任何原生模块的情况下反转了Transformer的结构。iTransformer 将独立序列视为变量标记，通过注意力捕获多元相关性，并利用层归一化和前馈网络来学习序列表示。
2024-05-12 18:55:20
1244
3
原创 机器学习第37周周报 GGNN
本周阅读了题为Real-time water quality prediction in water distribution networks using graph neural networks with sparse monitoring data的论文。该研究通过构建 GGNN 模型来捕获监测节点和非监测节点之间的空间拓扑关系，研究了使用机器学习进行 WDN 实时水质预测的泛化问题。为了提高预测精度，在模型训练期间实施了屏蔽操作，在每个训练批次中随机屏蔽指定百分比的传感器节点。
2024-05-05 20:01:11
967
原创 机器学习周报第36周 AT-LSTM
本周阅读了题为Water Quality Prediction Based on LSTM and Attention Mechanism: A Case Study of the Burnett River, Australia的论文。这项工作提出了一种基于长期短期记忆的神经网络和 注意力机制的混合模型——AT-LSTM。其中，LSTM缺乏对子窗口特征进行不同程度关注的能力，这可能会导致一些相关信息被忽略，无法重视时间序列的重要特征。
2024-04-28 17:55:48
745
原创 机器学习周报第35周SE-LSTM
本周阅读了题为Large-scale water quality prediction with integrated deep neural network的论文。这项工作提出了一种基于长期短期记忆的编码器-解码器神经网络和 Savitzky-Golay 滤波器的混合模型。其中，Savitzky-Golay滤波器可以消除水质时间序列中的潜在噪声，长短期记忆可以研究复杂水环境中的非线性特性。这样就提出了一个集成模型并有效地获得了统计特征。基于真实数据的实验证明，其预测性能优于几个最先进的同行。
2024-04-20 21:11:40
541
3
原创 机器学习第34周周报VBAED
本周阅读了题为Accurate water quality prediction with attention-based bidirectional LSTM and encoder–decoder的论文。该文提出了一种称为VBAED的混合预测方法来预测水质时间序列。VBAED 结合了变分模式分解 （VMD）、双向输入注意力机制、具有双向 LSTM 的编码器 （BiLSTM） 以及具有双向时间注意力机制和 BiLSTM 的解码器。
2024-04-14 15:04:38
739
原创 机器学习第33周周报Airformer
本文主要讨论基于Transformer的空气质量预测。首先本文简要介绍了多头注意力机制（MSA）、 具有潜变量的变分模型。其次本文展示了题为AirFormer: Predicting Nationwide Air Quality in China with Transformers的论文主要内容。该文提出了一种名为 AirFormer 的新型 Transformer 架构，用于集体预测中国全国范围内的空气质量，并以前所未有的精细空间粒度覆盖数千个地点。
2024-04-05 21:27:25
1068
原创 机器学习第32周周报TAD
本文主要讨论时间序列的噪声检测。首先本文简要介绍了时间序列噪声的种类。其次本文展示了题为Towards a Rigorous Evaluation of Time-series Anomaly Detection的论文主要内容。该文从理论和实验上解释了点调整（PA）方案可能高估检测性能，从而导致错误的估计排名。该文指出，在禁止PA的情况下，未经训练的模型能获得与现有方法相当的检测性能。根据发现，提出了新的基线模型和评估方案。近年来，时间序列异常的研究在相关数据集上取得了较高的F1分数。
2024-03-30 15:31:46
1020
原创 机器学习第31周周报 AdaRNN
本文主要讨论AdaRNN。首先本文简要介绍了基于LSTM的RNN。其次本文展示了题为AdaRNN: Adaptive Learning and Forecasting of Time Series的论文主要内容。该文提出自适应 RNN（AdaRNN）来解决 TCS 问题。AdaRNN 由两个模块依次组成。第一个模块称为时间分布表征，旨在更好地表征时间序列中的分布信息。第二个模块称为时间分布匹配，旨在减少时间序列中的分布失配，以学习基于 RNN 的自适应时间序列预测模型。
2024-03-23 20:45:10
918
原创 机器学习第30周周报 Crossfomer
本文主要讨论Crossformer。首先本文简要介绍了self-attention的框架。其次本文展示了题为CrossFormer: A Versatile Vision Transformer Hinging on Cross-scale Attention的论文主要内容。该文提出了跨尺度嵌入层（CEL）和长短距离注意力（LSDA）。通过以上两种设计，该文实现了跨尺度的注意力。大量实验表明，CrossFormer 在图像分类、对象检测、实例分割和语义分割任务方面优于其他视觉Transformer。
2024-03-16 21:22:47
916
原创 机器学习第29周周报 Beyond Dropout
本文主要讨论Dropout方法及其改进。本文简要介绍了泛化理论。其次本文展示了题为Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks的论文主要内容。该文研究了与深度神经网络中间层相关的经验Rademacher复杂度，在此基础上提出了一种特征失真的方法。实验表明，与传统的dropout方法相比，该方法能够更加有效的训练神经网络。
2024-03-09 21:14:35
944
原创 机器学习第二十八周周报 PINNs2
本文主要讨论PINN。本文简要介绍了Lipschitz条件。其次本文展示了题为Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations的论文主要内容。该论文提出了一个深度学习框架，使数学模型和数据能够协同结合。
2024-02-18 17:16:45
1329
2
原创 机器学习第二十七周周报 PINNs
本文主要讨论PINN。本文简要介绍了监督学习。其次本文展示了题为Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations的论文主要内容。该论文提出了一个深度学习框架，使数学模型和数据能够协同结合。
2024-01-28 18:37:51
1031
1
原创 机器学习第二十六周周报 ARIMA & Clustering model
本文主要讨论ARIMA模型和Clustering模型。本文简要介绍了龙格库塔方法。其次本文展示了题为Application of Time Serial Model in Water Quality Predicting的论文主要内容。该文提出一种结合自回归积分移动平均(ARIMA)和聚类模型的水质预测方法。以某流域水质监测数据为样本，选取水质总磷（TP）指数作为预测对象。实验表明，与ARIMA水质预测方法相比，该方法具有更高的精度。
2024-01-20 17:26:22
1057
原创 机器学习第二十五周周报 ConvLSTM
本文主要讨论ConvLSTM的模型。本文简要介绍了自注意力机制运行逻辑。其次本文展示了题为Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting的论文主要内容。该论文将降水预报问题建模为时空序列预测问题，并根据FC-LSTM结构进行扩展，提出了ConvLSTM。该结构改善了FC-LSTM的缺点，通过其局部邻域的输入和过去状态来确定网格中某个单元的未来状态。
2024-01-13 15:10:18
1200
1
原创 李宏毅机器学习第二十四周周报 Self-attention ConvLSTM
本文主要讨论SA ConvLSTM的模型。本文简要介绍了LSTM的结构以及运行逻辑，并展示了ConvLSTM。其次本文展示了题为Self-Attention ConvLSTM for Spatiotemporal Prediction的论文主要内容。这篇论文提出了Self-attention ConvLSTM模型，该模型将自注意力机制引入到 ConvLSTM 中。具体来说，提出了一种新颖的自注意力记忆（SAM）来记忆在空间和时间域方面具有远程依赖性的特征。
2024-01-06 16:07:35
1017
原创 李宏毅机器学习第二十三周周报 Flow-based model
文章目录week 23 Flow-based model摘要Abstract一、李宏毅机器学习1.引言2.数学背景2.1Jacobian2.2Determinant2.3Change of Variable Theorem3.Flow-based Model4.GLOW二、文献阅读1. 题目2. abstract3. 网络架构3.1 change of variable formula3.2 Coupling layers3.3Properties3.4Masked convolution3.5Combin
2023-12-30 19:48:19
1437
原创 李宏毅机器学习第二十二周周报GAN理论2
本文主要讨论了GAN的理论知识。本文介绍了在GAN模型的训练过程。本文分别阐述了生成器与分辨器的训练细节，并详细描述了整体算法进行。其次本文展示了题为DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier的论文主要内容。这篇论文提出了DeGAN，该模型可以使用相关领域的数据或者相关性不高的数据生成数据并能利用数据进行较为准确的预测。该文使用CIFAR和MNIST验证了其优越性。
2023-12-23 20:16:10
817
原创 李宏毅机器学习第二十一周周报GAN理论
本文主要讨论了GAN的理论知识。本文介绍了在GAN模型之前用于处理生成式任务的最大似然估计。在此基础上，本文分别阐述了生成器与分辨器的原理以及训练目标最大化与JS散度的关系。其次本文展示了题为SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient的论文主要内容。这篇论文提出了SeqGAN，该模型补充了该网络在序列化数据处理领域的空白。该文在中国诗、奥巴马演讲、音乐等数据集上进行实验，从数据角度证明了该网络的优越性。
2023-12-16 17:11:00
981
原创 李宏毅机器学习第二十周周报GAN4
本文主要讨论了Conditional GAN。首先，本文介绍了在训练非配对数据集时Unconditional GAN遇到的问题。在此基础下，本文阐述了一种可以更好解决非配对问题的网络架构——CycleGAN。此外，本文介绍了Conditional GAN在各个方面的应用。其次本文展示了题为Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks的论文主要内容。
2023-12-08 18:45:19
887
原创 李宏毅机器学习第十九周周报GAN3
本文主要讨论了生成式对抗神经网络。首先，本文介绍了GAN训练困难性以及其在训练过程中可能出现的问题。在此基础下，本文阐述了一种可以更好评估网络的标准——Fréchet Inception Distance（FID）。此外，本文简要介绍了Conditional GAN的各种应用以及大致框架。其次本文展示了题为GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium的论文主要内容。
2023-12-02 23:27:01
1119
3
原创 李宏毅机器学习第十八周周报GAN2
本文主要讨论了生成式对抗神经网络。首先，本文介绍了Original GAN的缺点。在此基础下，本文阐述了多种改进GAN的方案。例如，以Wasserstein distance为评价标准构建WGAN。其次本文展示了题为Improved training of wasserstein GANs的论文主要内容。这篇论文探讨了WGAN的结构，并给出了其在训练过程中难以收敛，或者收敛后效果不佳的原因。
2023-11-25 20:17:31
928
原创 番外篇Diffusion&Stable Diffusion扩散模型与稳定扩散模型
本篇文章为阅读笔记，，主要内容围绕扩散模型和稳定扩散模型展开，介绍了kl loss、vae模型的损失函数以及变分下限作为扩展部分。扩散模型是一种生成模型，定义了一个逐渐扩散的马尔科夫链，逐渐项数据添加噪声，然后学习逆扩散过程，从噪声中构建所需的数据样本。稳定扩散模型在其基础上添加了编码器用以降维训练数据、降低训练成本，该模型亦添加了额外的文本嵌入向量，通过该向量模型得以根据文本生成图片。
2023-11-25 20:15:32
1319
原创 李宏毅机器学习第十七周周报GAN
本文主要讨论了生成式对抗神经网络。首先，本文介绍了生成式对抗网络的设计思路。在此基础下，本文阐述了GAN的网络结构以及训练过程。生成器与解释器相互迭代，随着更新，生成器的效果趋近于真实图片。其次，本文展示了题为Generative Adversarial Networks论文的主要内容。这篇论文提出了生成式对抗网络的网络结构以及训练过程，该模型填补了生成任务方面神经网络的空白。此外，这篇论文还从理论角度证明了生成器的数据分布能够达到全局最优以及训练算法的可收敛性。
2023-11-18 20:17:04
175
1
原创 李宏毅机器学习第十六周周报NAT&HW5
文章目录week 16 Non-autoregressive Sequence Generation摘要Abstract一、李宏毅机器学习Non-autoregressive Sequence Generation1. 问题阐述1.1 Autoregressive model1.2 Non-autoregressive model (mostly by Transformer)2. Solution2.1Vanilla NAT(Non-Autoregressive Translation)2.2 Seque
2023-11-11 19:27:10
301
2
原创 李宏毅机器学习第十五周 Self-attention mechanism summary
文章目录week15 Self-attention mechanism summary摘要Abstract一、李宏毅机器学习1. local attention/truncated attention2. stride attention3. global attention4. Clustering5. Learnable Patterns6. part attention matrix proposed by Linformer7. computation simplism8. synthesizer
2023-11-04 21:06:04
118
2
原创 李宏毅机器学习第十四周Transformer
文章目录李宏毅机器学习第十四周Transformer摘要Abstract零、数学基础——傅里叶变换一、李宏毅机器学习Transformer1. seq2seq模型的应用2. framework of seq2seq model2.1 encoder2.2 decoderdecoder-non-autoregressive（NAT）cross attention在这里插入图片描述Training3. More Tips3.1 copy mechanism3.2 guided attention3.3 beam
2023-10-28 18:50:37
245
1
原创 李宏毅机器学习第十三周GNN2
本文内容分为主要三部分。首先，介绍了Spectral-Based Convolution基于谱域的卷积计算的GNN，了解了傅里叶变换的基本概念以及如何以其为基础构造卷积操作。简要了解了ChebNet对于两个问题的解决方案。简单介绍了GCN。其次，以pytorch_gerometric实现了GCN网络，基于ESOL数据集实现了根据分子结构预测可溶性。
2023-10-21 20:54:50
239
1
原创 李宏毅机器学习第十二周GNN&HW3
本周主要学习了GNN网络，了解了两类GNN基础类型：继承CNN中的思路的Spatial-based convolution以及以信号处理中卷积操作的定义作为思路的Spectral-based convolution。主要认识了几种基于CNN思路的Spatial-based的GNN模型。之后完成了HW3，主要用了训练增强、focal loss、mixup、tta和残差神经网络。
2023-10-14 19:26:32
219
1
原创 李宏毅机器学习第十一周self-attention
之前学习的网络，例如传统CNN仅能考虑感受野范围内的信息，且输入通常是以向量的形式。本周学习的self-attention机制赋予了网络考虑全局信息的能力。这种网络的输出是多种多样的，本文中以“每个向量对应一个标签”这一输出的类型为例说明网络结构。self-attention层主要依赖注意力机制计算各个向量之间的相关性，有两种计算方法dot-product与additive，在本文的3.1部分着重对dot-product方法的计算流程进行了介绍。
2023-10-07 19:43:58
119
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人