- 博客(54)
- 收藏
- 关注
RSS订阅原创 2024.7.14周报
本周我阅读了一篇题目为Kolmogorov–Arnold-Informed neural network: A physics-informed deep learning framework for solving PDEs based on Kolmogorov–Arnold Networks的文献，它是将PINN中的网络架构用KAN来代替，提出了KINN。其次对KAN和KAN的网络架构进行了初步学习，加深了对其的认识。
2024-07-14 16:04:27
968
原创 2024.6.30周报
本周我阅读了一篇题目为Generative Pre-Trained Physics-Informed Neural Networks toward non-intrusive Meta-learning of parametric PDEs的文献，PINN在多查询和实时仿真设置下仍然很耗时，它的参数化往往过于过度，这篇文章提出的生成与训练PINN来缓解参数PDE设置的这两个挑战，然后对文章中给的代码进行了复现，进一步理解了模型的逻辑。PINN在多查询和实时仿真设置下仍然很耗时，它的参数化往往过于过度。
2024-06-30 21:33:23
648
原创 2024.6.23周报
本周阅读了一篇题目为NAS-PINN: NEURAL ARCHITECTURE SEARCH-GUIDED PHYSICS-INFORMED NEURAL NETWORK FOR SOLVING PDES的文献，文章提出了一种神经结构搜索引导方法，即NAS-PINN，用于自动搜索求解特定偏微分方程的最优神经结构。其次通过代码实验，对一个偏微分方程进行求解，加深了自己对求解步骤的理解。
2024-06-21 20:57:55
694
原创 2024.6.16周报
本周我阅读了一篇题目为《Contaminant Transport Modeling and Source Attribution With Attention‐Based Graph Neural Network》的论文，这篇论文引入了一种新的基于注意力的图神经网络（aGNN），专门用于在有限监测数据下模拟污染物迁移并量化污染源及其传播之间的因果关系。此外，aGNN的解释性分析能有效量化每个污染源的影响，证实了其在地下污染物运移研究中的高效性和减少计算成本的能力，为地下水管理提供了一个有力的工具。
2024-06-16 18:50:26
778
原创 2024.6.9周报
本周我阅读了一篇题目为《Unlocking the Potential of Transformers in Time Series Forecasting with Sharpness-Aware Minimization and Channel-Wise Attention》的文献，该文献引入了一种浅层、轻量级的Transformer模型（SAMformer），该模型采用锐度感知优化技术。
2024-06-06 21:26:36
806
原创 2024.6.2周报
本周我阅读的文献《A novel deep learning framework with variational auto-encoder for indoor air quality prediction》中提出了一种新颖的深度学习框架——PLS-VAER，专门用于室内空气质量预测，特别是针对PM2.5浓度的建模。该框架创新性地融合了偏最小二乘分析(PLS)与变分自编码器(VAE)的技术，旨在提升预测精度和泛化能力。
2024-05-31 01:40:16
738
原创 2024.5.26周报
本周阅读的文献《Urban Water Supply Forecasting Based on CNN-LSTM-AM Spatiotemporal Deep Learning Model》中，提出了一种时空深度学习模型CNN-LSTM-AM。首先通过CNN识别供水系统中的潜在模式结构，自动提取供水数据的空间特征；其次，将贝叶斯算法和AM引入LSTM网络，实现LSTM网络参数的自动选择和对时间序列数据的自主权值分配，突出重要信息的影响。
2024-05-26 14:41:29
416
原创 2024.5.19周报
本周阅读的文献《Fourier Graph Convolution Network for Time Series Prediction》中，提出了一种新的鲁棒傅立叶图卷积网络模型来学习具有周期性和波动性模式的时间序列。该模型包括一个傅立叶嵌入模块和一个可堆叠的时空ChebyNet层，其中傅立叶嵌入模块的开发基于傅立叶级数理论的分析，表示具有傅立叶级数的周期函数，该傅立叶级数可以找到最佳系数和最佳频率参数以捕获周期性特征。
2024-05-12 20:34:02
786
原创 2024.5.5周报
本周阅读的文献《Fourier Graph Convolution Network for Time Series Prediction》中，提出了一种新的鲁棒傅立叶图卷积网络模型来学习具有周期性和波动性模式的时间序列。该模型包括一个傅立叶嵌入模块和一个可堆叠的时空ChebyNet层，其中傅立叶嵌入模块的开发基于傅立叶级数理论的分析，表示具有傅立叶级数的周期函数，该傅立叶级数可以找到最佳系数和最佳频率参数以捕获周期性特征。
2024-04-28 19:26:10
841
原创 2024.4.21周报
本周我阅读的文献《Next Item Recommendation with Self-Attentive Metric Learning》中，提出了一种新的序列感知推荐模型，通过自注意力机制，能够估计用户交互轨迹中每个item的相对权重，以更好地表示用户的瞬时兴趣。论文最主要的核心点是提出结合度量学习和Self-Attention的方法来解决序列推荐问题，以及显式地控制了长短期兴趣对模型的影响。
2024-04-21 20:33:45
969
原创 2024.4.14周报
在本周阅读的文献中，提出了基于Transformer的GAN模型，GAN的生成器和鉴别器，都是基于Transformer的编码器架构构建的，通过处理图像的方式处理时间序列数据作为该模型的输入。该模型能够生成各种长度的多维时间序列数据，对原始信号模式和二维数据点分布的可视化比较显示了原始数据和合成数据的相似性。原始GAN的优化主要在于最小化真实分布和生成分布之间的js散度，而JS散度因其没有重叠则值不变的特性，导致GAN的优化存在梯度下降等问题。
2024-04-07 19:25:22
590
原创 2024.3.24周报
本周阅读的文献，提出了一种基于XGBoost和LSTM算法的城市洪泛区洪水模拟耦合模型，该模型强调降雨和雨后洪水的全过程，利用降雨数据构，通过XGBoost算法构建非时间序列回归模型来模拟和预报洪水深度，降雨后，通过LSTM算法利用时间序列原理，在降雨后进行持续预测。有效的预测洪水深度，解决了雨后洪水深度预测问题。双向LSTM通过两层LSTM可以提供更丰富的上下文信息，将前向和后向的输出进行拼接得到最终结果，可以获得更全面的序列信息。
2024-03-24 15:00:00
710
原创 2024.4.17周报
本周阅读的文献，提出了一种基于XGBoost和LSTM算法的城市洪泛区洪水模拟耦合模型，该模型强调降雨和雨后洪水的全过程，利用降雨数据构，通过XGBoost算法构建非时间序列回归模型来模拟和预报洪水深度，降雨后，通过LSTM算法利用时间序列原理，在降雨后进行持续预测。有效的预测洪水深度，解决了雨后洪水深度预测问题。双向LSTM通过两层LSTM可以提供更丰富的上下文信息，将前向和后向的输出进行拼接得到最终结果，可以获得更全面的序列信息。
2024-03-17 18:46:06
854
原创 2024.3.31周报
目录摘要ABSTRACT一、文献阅读1. 题目2. 连续时间模型3. 离散时间模型4.结论二、CLSTM1. 任务要求2. 实验结果3. 实验代码3.1模型构建3.2训练过程代码小结本文主要讨论PINN。本文简要介绍了Lipschitz条件。其次本文展示了题为Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear parti
2024-03-10 14:30:00
750
原创 2023.3.3周报
本周我阅读了一篇题目为Deep Residual Learning for Image Recognition的文献，文章的贡献是作者提出了残差网络的思想，且证明了更深层的残差网络具有比VGG网络更低的复杂度和更高的准确性，同时，残差网络实现了更容易的训练过程。其次，对PINN进行了继续的学习，PINN 是一种科学机器在传统数值领域的应用方法，特别是用于解决与偏微分方程相关的各种问题，包括方程求解、参数反演、模型发现、控制与优化等。
2024-03-03 21:06:02
632
原创 2024.1.28周报
本周我阅读了一篇题目为Physics Informed Deep Learning (Part I): Data-driven Solutions of Nonlinear Partial Differential Equations的文献，论文分两部分，介绍数据驱动解决方案和偏微分方程发现，其次对Burgers方程使用PINN神经网络代码进行了实现，从实验结果可以看出，由干净数据得到的PDE比由带有噪声数据得到的PDE更接近真实值。
2024-01-29 00:32:58
869
原创 2024.1.21周报
本周我阅读了一篇题目为Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations的论文，文章中主要解决了两个问题，即数据驱动解决方案和偏微分方程的数据驱动发现。第一个问题是偏微分方程的解，在给定参数λ，求系统解,第二个问题是已知系统,求λ能描述观察数据。
2024-01-21 19:11:07
1065
原创 2024.1.14周报
本周我阅读了一篇题目为Deep Residual Learning for Image Recognition的文献，文章的贡献是作者提出了残差网络的思想，且证明了更深层的残差网络具有比VGG网络更低的复杂度和更高的准确性，同时，残差网络实现了更容易的训练过程。其次，对PINN进行了初步的认识，PINN 是一种科学机器在传统数值领域的应用方法，特别是用于解决与偏微分方程相关的各种问题，包括方程求解、参数反演、模型发现、控制与优化等。
2024-01-14 14:00:00
1088
原创 2024.1.7周报
本周，我阅读了一篇名为Named Entity Recognition with Bidirectional LSTM-CNNs的论文，其中提出了一种创新的神经网络架构。该架构采用了双向LSTM和CNN的混合模型，能够自动提取单词级和字符级的特征，从而避免了繁琐的特征工程。这一方法为实现命名实体识别提供了一种高效而精确的途径。此外，在深度学习方面，我继续学习了Attention机制。将Attention与Seq2Seq相结合，深化了对Attention思想的理解。
2024-01-07 13:59:34
941
原创 2023.12.30周报
本周我阅读了一篇关于时间序列预测的论文，文章中提出了一种新的时间序列学习框架CoST，通过对比学习解开的季节性趋势表示。CoST在实验中始终优于最先进方法，多变量基准上实现了21.3%的MSE改进。其次我还学习了ARIMA的基础知识，ARIMA模型的基本思想是利用数据本身的历史信息来预测未来。深度学习在时间序列预测中备受关注，采用了基于神经网络的端到端训练。从经典的LSTM/RNN到近期的TCN和Transformer，这些方法不断演进。
2024-01-02 15:44:30
980
原创 2023.12.24周报
本周，我阅读了一篇题目为Self-Attention ConvLSTM for Spatiotemporal Prediction的论文，为了提取同时具有全局和局部依赖性的空间特征，文章引入了自注意机制，即一种新型的自我关注记忆（SAM）方法，用于捕获具有长期空间和时间依赖性的特征。其次，对GRU的前向反向传播进行了推导，并用代码对其进行了实现，加深了自己的理解。现有方法中，通过卷积方式仅能局限地捕获空间上的局部依赖关系，效率较低。
2023-12-24 20:41:46
895
原创 2023.12.17周报
本周我阅读了一篇名为《Attention Is All You Need》的文献。该文提出的Transformer模型彻底抛弃了以往的循环和卷积操作，全面采用了注意力机制，不仅具备更强大的并行计算能力，还显著提升了训练效率。其革新性的设计为自然语言处理任务带来了重大的突破。其次我深入学习了Self-attention和Transformer的相关内容，并对它们进行了详尽的分析。Self-attention机制通过对输入序列中不同位置的元素分配不同的注意力权重，实现了更灵活、更全面的信息捕捉。
2023-12-17 18:25:25
58
原创 2023.12.10周报
论文主要内容是语音合成的新技术，WaveRNN, 谷歌最新提出的语音合成算法，可应用在手机，嵌入式等资源比较少的系统。WaveRNN 采用了三种先进的计算方法去提高生成语音的质量同事保证模型很小。
2023-12-10 20:35:15
56
原创 2023.12.3周报
本周，我深入研读了题为《Inductive Representation Learning on Large Graphs》的论文。文中介绍了一种名为GraphSAGE的方法，该方法在学习图嵌入映射时同时利用了节点的特征信息和结构信息。与以往的方法不同，GraphSAGE不仅保存了映射后的结果，还保留了生成嵌入映射的过程，使其具有更强的可扩展性。通过实际代码实践，我对图神经网络（GNN）的理解更为深入。此外，我还初步学习了傅里叶变换，为进一步学习奠定了基础。
2023-12-03 18:47:39
68
原创 2023.11.26周报
本文提出了一种图卷积网络（graph covolutional networks, GCNs），该网络是传统卷积算法在图结构数据上的一个变体，可以直接用于处理图结构数据。从本质上讲，GCN 是谱图卷积（spectral graph convolution） 的局部一阶近似（localized first-order approximation）。GCN的另一个特点在于其模型规模会随图中边的数量的增长而线性增长。总的来说，其可用于具有图结构数据的半监督学习。
2023-11-26 20:55:31
72
原创 2023.11.19周报
本周，我研读了《Longformer: The Long-Document Transformer》这篇论文，它针对长文本处理领域中的一个关键挑战——长距离依赖和高时空复杂度问题提出了解决方案。传统的 Transformer 模型在处理长文本时面临效率低下的问题，而 Longformer 通过结合局部自注意力和全局自注意力（稀疏注意力）机制，显著提升了处理长文本的能力。这种创新的注意力机制不仅提高了模型的处理速度，还扩大了其处理文本长度的范围，能够高效处理数万词的文本。
2023-11-19 18:00:00
91
原创 2023.11.5周报
本周研读了一篇题目为《Named Entity Recognition with Bidirectional LSTM-CNNs》的文献,其主要贡献是提出了一种结合双向LSTM和CNN的混合模型,可以自动提取单词级和字符级的特征,并提出了词汇表部分匹配算法。另外,学习了注意力机制的思想,并用代码逐步实现了seq2seq+Attention模型的前向传播过程,通过实践加深了对注意力机制的理解。
2023-11-05 17:00:00
67
原创 2023.10.29周报
本篇文章研究了基于LSTM的模型的正则化和优化策略，提出了一种在隐藏到隐藏的权重上使用DropConnect的一种LSTM，并且引入了一种平均梯度下降的变体：NT—ASGD。然后在Penn Treebank和WikiTex-2上实现了最先进的词级困惑度。下周，我将继续学习seq2seq，并将其与attention结合起来学习。
2023-10-29 19:00:00
75
原创 2023.10.22周报
本周我读了一篇题为《Sequence to Sequence Learning with Neural Networks》的论文,文中使用了两个多层LSTM来实现输入序列到固定维度向量再到目标序列的转换,很好地解决了此前序列到序列任务中的效果不佳问题。接着,我对GRU进行了深入学习,通过矩阵运算推导,弄清楚了GRU每一步的输出维度变化。最后,我学习了张量中协变量与逆变量变换的知识。
2023-10-22 18:30:00
81
原创 2023.10.15周报
本周我读了一篇题为《Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation》的论文。该文首次提出RNN编码器-解码器框架,在机器翻译任务上取得了良好效果。但其最大贡献在于提出了GRU模型。GRU简化了LSTM的设计,计算更快。通过学习,我理解了GRU的门控机制,以及它相对于LSTM在计算速度上的优势。
2023-10-15 19:30:00
116
原创 2023.10.8周报
本周我阅读了一篇题为《Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting》的文献。该文献主要介绍了ConvLSTM结构，并将其应用于降水预测，取得了令人满意的结果。随后，我手动推导了一遍RNN的前向传播过程，以便更好地理解RNN的计算过程，并弄清了其中参数维度的变化。此外，我还学习了张量的基础知识，对张量有了初步的认识。
2023-10-08 19:00:00
237
原创 2023.10.1周报
本周阅读了一篇名为RECURRENT NEURAL NETWORK REGULARIZATION的文献，它主要介绍的是如何正确地将dropout应用于LSTM，这种方法能够很好地减少过拟合问题。其次，学习了关于RNN的知识，RNN对时序预测于机器翻译这些方面的效果很好，但是它容易遗忘较早的信息，而LSTM能够更好地解决这一点，所以说能应用RNN的地方，基本上都可以用LSTM来代替。
2023-09-29 16:38:19
102
原创 2023.9.24周报
虽然最近的CNN模型能够极大的提升在ImageNet上的识别结果，但是人们始终没有弄明白为什么CNN模型能够有如此出色的表现，或者说怎样才能改进模型呢。在文章中通过一种简单的可视化手段，可以对CNN网络中中间层进行可视化，从而可以起到一种诊断的作用，来改进当前以后的模型。通过反向传播，不断迭代更新参数，损失值也越来越接近于0，从而我们得到了我们需要的参数。下周我将对RNN的内容进行学习。x_%7B0%7D。
2023-09-23 14:59:34
114
原创 2023.9.17周报
本周,我通读了论文《ImageNet Classification with Deep Convolutional Neural Networks》。该文献的主要贡献是构建了一个深层神经网络架构,该架构具有几点创新之处。第一,通过减少参数量来加速训练;第二,提出了几种避免过拟合的措施;第三,使用ReLU激活函数取代了tanh和softmax。另外,我还深入学习了CNN的原理。CNN通过卷积和池化等操作,逐步减小图像尺寸,从而大大减少了参数量。总体而言,本周对CNN进行了深入剖析,这个过程让我受益匪浅。
2023-09-15 20:00:02
131
原创 2023.9.10 学习周报
本周读了一篇关于PM2.5的预测的文献，文献中把VMD-BiLSTM与其它现有模型进行比较，VMD-BiLSTM的各方面性能都优于其它模型，VMD根据频域将原始PM2.5复时间序列数据分解为多个子信号分量。然后，采用BiLSTM分别对每个子信号分量进行预测，显著提高了预测精度。PM2.5浓度是环境科学中评价空气质量的主要指标之一。PM2.5的严重程度直接影响到公众健康、经济和社会发展。
2023-09-10 16:58:48
209
1
原创 李宏毅机器学习_机器学习的可解释性
本周学习了关于机器学习可解释性的内容，并自己手动跑了一些简单模型的代码，通过这些代码，以及首推梯度，损失等对梯度下降以及反向传播有了更深刻的认识。
2023-09-03 18:04:10
94
原创 Auto-encoder
HW7主要内容是BERT，是在Transformer模型基础上的更进一步,通过跑代码，能够解决在训练过程中的疑惑，以及代码有问题时能够独立改正，独立总结。通过使用BERT，我们能够获得更准确的文本表示和语义理解，从而提高了文本分类、命名实体识别和问答等任务的性能。
2023-08-27 23:09:27
113
1
原创 李宏毅机器学习_自监督式学习
本周学习了关于自监督式学习的内容，自监督式学习不需要外界提供有标签的资料，他的带标签的资料源于自身。BERT的预训练过程包括两个阶段：MLM和NSP，在MLM中，模型需要预测被遮盖的词语，从而学习到词语之间的关系。在NSP中，模型需要判断两个句子是否是连续的，从而学习到句子级别的语义关系。BERT的创新之处在于采用了双向上下文建模的方法，能够更好地理解上下文中的词语含义。自监督式学习是一种机器学习方法，其中模型从未标记的数据中自动学习表示。
2023-08-20 21:52:03
150
1
原创 Theory behind GAN
在上周的学习中，明白了GAN的大概原理，不过没有具体写GAN背后的数学理论，这一篇尝试详细地推到一下GAN是怎么来的。生成器的目标是通过学习数据分布的潜在结构，生成逼真的样本。它接收一个随机噪声向量作为输入，并通过一系列的转换将其映射到数据空间。生成器的目标是最小化生成样本与真实样本之间的差异，通常使用生成样本与真实样本之间的损失函数来衡量。考虑一下，GAN到底生成的是什么呢？
2023-08-12 02:50:05
56
1
原创 李宏毅机器学习_GAN
本周学习了关于生成式对抗网络的内容，GAN由一个生成网络和一个判别网络组成，生成网络从随机噪声中生成新的数据实例，判别网络尝试区分生成的数据实例和真实数据实例。生成网络和判别网络之间的竞争促进了生成网络的能力，使其能够制造出越来越逼真的数据。GAN的主要优点在于能够生成高质量、逼真的数据，这使得GAN在许多领域得到广泛应用，包括图像生成、超分辨率、风格迁移和数据增强等。然而，GAN也存在一些局限性，例如训练的稳定性问题，模式崩溃等。
2023-08-05 15:14:50
221
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人