神经算子+Transformer

已于 2023-06-26 22:23:21 修改
阅读量691 收藏 2
点赞数
文章标签： transformer 人工智能 深度学习
于 2023-06-26 22:02:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44708254/article/details/131406241
版权
文章深入探讨了AI在处理偏微分方程（PDE）中的应用，介绍了DeepONet模型的工作原理，并对比了AFNO（一种结合ViT与NeuralOperator的方法），以及傅里叶神经算子（FNO）在解决此类问题上的优势和创新点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Transformer与图神经网络的融合与应用
AI天才研究院
04-29 766
近年来，深度学习技术在各个领域取得了显著的进展。其中，Transformer模型和图神经网络（Graph Neural Networks, GNNs）是两个备受关注的研究方向。Transformer最初应用于自然语言处理领域，通过自注意力机制实现了并行计算和长距离依赖建模，取得了显著的性能提升。而图神经网络则专注于处理图结构数据，通过对节点信息的聚合和传播，实现了高效的图表示学习和下游任务求解。
结合Transformer与GNN！图Transformer15个创新方案，无痛涨点
强化学习曾小健
04-23 1634
作者提出了一种新的神经网络编码器类别，称为DIFFORMER（基于扩散的Transformer），包括两个实例：一个具有线性复杂度的简单版本，适用于数量庞大的实例；作者提出了一种新的方法，称为谱注意力网络（SAN），它使用了一种学习位置编码（LPE），可以从拉普拉斯算子的全谱中学习节点的位置。为了解决分子表示学习中的问题，作者提出了一种名为GROVER的新框架。论文提出了一种名为Graphormer的图表示学习方法，它建立在标准的Transformer架构之上，并在广泛的图表示学习任务上取得了出色的结果。
深度学习之常用算子介绍
ueke1的博客
04-02 6495
打开 onnx 模型图，可以看到它是一个有向无环图。除了 Input、Output ，其他都是算子（是操作，而不是节点）在ONNX（Open Neural Network Exchange）模型中，除了输入和输出，其他都是算子（Operations）。算子是表示神经网络模型中的不同操作或层的元素。一个ONNX模型由一系列算子组成，通过连接这些算子来定义模型的计算流程。
谱神经算子Spectral Neural Operator在MindSpore Flow开源
Kenji_Shinji的博客
07-03 734
近日，谱神经算子(Spectral Neural Operator，SNO)及其在Burgers 1D/Navier-Stokes 2D/Navier-Stokes 3D问题上的应用案例在MindSpore Flow开源。SNO给出的方案是通过多项式逼近(切比雪夫Chebyshev，勒让德Legendre等)代替傅里叶变换，只需要使用基本的线性变换，而不涉及复杂的傅里叶变换计算，不涉及复数计算。其具体架构如图1所示。特别地，在二维应用案例中，在嵌套的SNO层中加入若干层U-SNO层能够取得更好的效果。
前沿进展：Koopman神经算子求解偏微分方程
数据派THU
09-19 617
本文约2300字，建议阅读5分钟 本文为你介绍一种用于求解偏微分方程的神经算子模型。[ 导语 ]偏微分方程与科学和工程形影不离，无论是建模流体运动的Navier-Stokes方程，还是描述电磁场相互作用的麦克斯韦方程等，都可以用偏微分方程建模。高度的非线性特征使得这些方程难以解析求解，有限差分法、有限体积法和谱方法等数值方法成为求解偏微分方程的重要手段，支撑着模拟实验、工程仿真和业务预报等方方面面...
fourier_neural_operator:使用傅立叶变换学习微分方程中的算子
03-18
傅立叶神经算子 该存储库包含该论文的代码： 在这项工作中，我们通过直接在傅立叶空间中对积分内核进行参数化，从而制定了一种新的神经元运算符，从而实现了高效而富有表现力的体系结构。我们对Burgers方程，Darcy流和Navier-Stokes方程（包括湍流状态）进行实验。与现有的神经网络方法相比，我们的傅里叶神经算子显示了最先进的性能，并且与传统的PDE求解器相比，它的速度提高了三个数量级。 它来自以前的作品： 要求 档案文件 代码采用简单脚本的形式。每个脚本应该是独立的并且可以直接运行。 fourier_1d.py是傅立叶神经算子1D的问题，如（与时间无关的）Burgers方程的第5.1节中所讨论的。 fourier_2d.py是傅立叶神经算子的2D问题如达西流在第5.2节中所讨论的。 fourier_2d_time.py是傅立叶神经算子的2D问题诸如在5.3节中讨论的Navier
【神经网络算子】
weixin_44708254的博客
01-14 1426
函数u，在固定的sensors上：x_1,x_2,…即u(x_i)和y。目的是，让神经网络学习算子G，从u(y)可以得到G(u)(y)。函数G(u)，在随机的y上。
Involution:新神经网络算子（CVPR2021 论文速读）
qq_45193872的博客
06-01 9284
论文链接：https://arxiv.org/abs/2103.06255 github代码链接：https://github.com/d-li14/involution 一、介绍 Involution这个全新的神经网络概念是由CV大神李铎和胡杰等人于2021年CVPR论文：Involution: Inverting the Inherence of Convolution for Visual Recognition中提出的，相比于传统的convolution，involution巧妙地将网络计算量分为k
神经网络高性能算子
It is me 的博客
08-14 620
神经网络高性能算子
傅里叶描述算子
12-04
利用matlab对图像的轮廓提取其傅里叶描述算子，其中还有将选取得到的描述子傅里叶反变换进行可视化的验证程序。
自适应傅里叶神经算子：Transformer的高效token混合器
最新发布
03-25
自适应傅里叶神经算子：Transformer的高效token混合器
CNN+Transformer=Better，国科大&华为&鹏城实验室提出Conformer，84.1% Top-1准确率
我爱计算机视觉
08-15 1261
关注公众号，发现CV技术之美0写在前面在卷积神经网络(CNN)中，卷积运算擅长提取局部特征，但在捕获全局特征表示方面还是有一定的局限性。在Vision Transformer中，级联自注意...
卷积神经网络的基础算子
m0_61227501的博客
10-25 1382
这只是某篇文章的续集罢了
超越卷积、自注意力机制：强大的神经网络新算子involution（连算子都内卷= =）
404 Not Found
03-26 1526
这篇工作主要是由我和SENet的作者胡杰一起完成的，也非常感谢HKUST的两位导师 陈启峰和张潼老师的讨论和建议。 本文是对我们CVPR 2021被接收的文章 Involution: Inverting the Inherence of Convolution for Visual Recognition的介绍，同时也分享一些我们对网络结构设计（CNN和Transformer）的理解。 概要 我们的贡献点简单来讲： （1）提出了一种新的神经网络算子（operator或op）称为involution，它比.
神经网络算法是什么意思,神经网络算子有哪些
aifamao3的博客
09-07 679
许多新型电子计算机不仅拥有高速的计算功能，而且还能模拟人脑的某种思维活动，就是说，拥有某些智能化的功能。然后，如果严格来鉴定一下，它们离真正的人脑思维功能实在差得太远了，而且有许多本质的差异。主要表现在人脑拥有高度的自我学习和联想、创造的能力，以及更高级的寻找最优方案和各种理性的、情感的功能。神经网络计算机就是通过人工神经网络，模仿人的大脑判断能力和适应能力、可并行处理多种数据功能的计算机。它可以判断对象的性质与状态，并能采取相应的行动，而且可同时并行处理实时变化的大量数据，并引出结论。
全面解析新型神经算子的优势与特性
Kenji_Shinji的博客
06-26 392
6月26日晚19:00（本周三），MindFlow&Earth SIG技术分享会精彩继续！本期我们邀请到华为下诺夫哥罗德研究所工程师Julia Gurieva（俄）为大家讲解如何用谱神经算子求解参数化偏微分方程的理论研究和技术要点，昇思MindSpore开发工程师孟老师将在直播间进行实际案例演示。我们将带大家了解一种新型神经算子——谱神经算子（SNO、U-SNO），该算子结合多项式变换和神经算子的优势，目前已成功应用在MindFlow的各项案例中。
DeepONet或FNO（傅里叶神经算子）与PINNs的作用场合&用途
m0_45861823的博客
12-11 5026
因此，有人就提出了算子学习，它只学习算子（如偏导算子，拉普拉斯算子，梯度算子），再由算子组合成方程，那么它就可以适应不同的条件，训练好算子之后，对于不同的条件，只需要通过不同的组合方式就可以，不需要对每个案例都单独训练一次。但PINNs对每一种案例都需要单独训练一次，比如说某个方程的系数变了，初始和边界条件变了，都需要单独训练，而且训练一次耗时很长。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Dataloading...

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值