Multi-fidelity DNNs : 多精度深度神经网络

最新推荐文章于 2023-01-14 10:45:36 发布
最新推荐文章于 2023-01-14 10:45:36 发布
阅读量8.2k 收藏 44
点赞数 9
CC 4.0 BY-SA版权
分类专栏： 深度学习求解PDE 文章标签： DNN PDE 多精度数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/waitingwinter/article/details/108489254
本文介绍了一种用于拟合多精度数据的神经网络方法，通过结合大量低精度数据和少量高精度数据，提高预测准确性。首先使用低精度数据训练神经网络，再利用高精度数据进行校正，最终实现从低精度到高精度的转换。

这篇文章介绍一种用来拟合多精度数据的神经网络。 在科学计算中，低精度的数据往往是廉价的、大量的；高精度数据则不同，他们是昂贵的、少量的，所以如何充分利用不同精度的数据来得到更加 precise 的结果便是一个需要解决的问题。这里我们利用神经网络给出了一个回答。
基本思想
想法很简单。假定 { x i , y i } i = 1 N l \{x_i,y_i\}_{i=1}^{N_l} { xi​,yi​}i=1Nl​​ 是我们有的低精度数据，其中 x i x_i xi​ 是输入变量， y i y_i yi​ 是预测变量； { x i , y i } i = N l + 1 N l + N h \{x_i,y_i\}_{i=N_l+1}^{N_l+N_h} { xi​,yi​}i=Nl​+1Nl​+Nh​​ 是高精度数据。 一般情况下, N l > N h N_l>N_h Nl​

最低0.47元/天 解锁文章

200万优质内容无限畅学
Hi-Fi Ark: Deep User Representation via High-Fidelity Archive Network 论文阅读
qq_38355878的博客
10-09 902
借助高保真存档网络的深度用户表示 Hi-Fi Ark: Deep User Representation via High-Fidelity Archive Network 论文链接： https://www.ijcai.org/proceedings/2019/0424.pdf​www.ijcai.org 摘要;** 深度学习在推荐系统中有很多成功的应用，其中一个重要的应用是用户表示（user representation）。深度学习技术在现代推荐系统中得到了广泛的应用，导致了灵活有效的用户表示方式。
论文笔记 -- ISSCC-2020: GANPU (Multi-DNN Processor for GANs with Speculative Dual-Sparsity Exploitation)
darknessdarkness的博客
02-21 2491
ISSCC-2020-GANPU论文解读 @论文笔记 GANPU: A 135TFLOPS/W Multi-DNN Training Processor for GANs with Speculative Dual-Sparsity Exploitation 文章目录ISSCC-2020-GANPU论文解读一、背景和动机1.背景2.动机a. 本地VS云端b. 计算和存储瓶颈c. 输入与输出稀疏...
matlab声音信号相位代码-Multi-Fidelity-ML:用于火焰模型识别的多保真机器学习策略的项目源代码和数据
06-04
matlab声音信号相位代码一种识别火焰模型的多保真高斯过程方法 1. 亮点 提出了一种新的基于机器学习的策略，以有效降低火焰模型识别中的不确定性，从而确保可靠的燃烧器设计和分析。 该策略依赖于多保真高斯过程模型，该模型有效地聚合了低/高保真识别结果并平衡了计算工作量和准确性之间的权衡。 我们在从测试台获取的数据上成功测试了多保真策略。 我们的结果表明，给定相同的计算预算，所提出的策略在全局范围内产生更准确、更稳健的火焰模型识别。 这项工作最初在会议上发表，后来被期刊接受： Guo S.、Silva CF、Polifke W.，通过多保真高斯过程方法对火焰频率响应进行鲁棒识别。 声音与振动杂志，2021 年。 2. 动机 火焰模型构成了燃烧不稳定预测中不确定性的主要来源。 这种不确定性通常源于噪声时间序列数据的模型识别不完善。 最先进的识别方法要么准确但速度非常慢，要么速度快但包含很大的不确定性。 3. 方法论 我们旨在通过提出一种多保真机器学习方法来识别火焰模型，从而充分利用各自的优势，同时避免最先进方法的弱点。 这种方法吸收了低保真结果提供的全局趋势和高保真结果提供的局部估计，从而
Multifidelity-GP:多保真高斯过程
05-29
MFGP 关于 多保真高斯过程 这是一个基于高斯过程回归和非线性自回归方案的概率框架，能够学习变量保真度模型之间复杂的非线性和空间相关互相关，并且可以有效地防止提供错误趋势的低保真模型。 此处显示了常规高斯过程方法与多保真高斯过程方法之间的回归结果比较。 此处重新实现的代码基于以下论文中的想法： P. Perdikaris、M. Raissi、A. Damianou、N. Lawrence 和 GE Karniadakis，“用于数据高效多保真建模的非线性信息融合算法”， Proc。 R. Soc。 A ，卷。 473，没有。 2198，第。 20160751, 2017。 用法 参见run.sh 。 python run.py test2.toml 依赖项： Autograd： : Scipy： :
Transfer learning based multi-fidelity physics informed deep neural network论文笔记
山里娃的博客
08-26 1019
论文信息 题目：Transfer learning based multi-fidelity physics informed deep neural network 作者：Souvik Chakraborty 期刊会议： Machine Learning (cs.LG); Computational Physics (physics.comp-ph) 年份：2020 论文地址： 代码： 基础补充 内容 动机 动机： 基于某些假设和近似，一些控制方程可以得到，但是建立的这个模型属于low-fidelity
A composite neural network that learns from multi-fidelitydata: Application to function approximati
RrS_G的博客
05-29 1594
一、背景 深度学习的快速发展也影响了物理系统的计算建模。通常，复杂物理系统的优化需要大量的高保真数据集，这可能会导致计算成本过高。另一方面，不充分的高保真数据会导致不准确的近似和可能错误的设计。多保真建模已经被证明是高效和有效的，通过利用低保真和高保真数据在不同的应用中实现高精度。在多保真度建模框架中，假设精确但昂贵的高保真度数据是稀缺的，而廉价且不准确的低保真度数据是丰富的。例如，利用一些很难获得的实验测量数据，结合运行计算模型获得的合成数据。在很多情况下，低保真数据可以为高保真数据提...
论文笔记系列-Multi-Fidelity Automatic Hyper-Parameter Tuning via Transfer Series Expansion
aiwanghuan5017的博客
12-15 555
论文: Multi-Fidelity Automatic Hyper-Parameter Tuning via Transfer Series Expansion 我们都知道实现AutoML的基本思路是不断选取不同的超参数组成一个网络结构，然后使用这个网络结构在整个数据集上进行评估 (假设评估值为\(f_H(X)=\mathcal{L}(δ,D^{train},D^{valid})\...
Multi-Task-DNN（2019ACL）
qq_43390809的博客
12-30 343
Multi-Task Deep Neural Networks for Natural Language Understanding https://github.com/namisan/mt-dnn. Model Lexicon Encoder ( l1): 输入XXX = {x1x_1x1​,…,xmx_mxm​}，mmm个token,X可以是单个句子，也可以是多个句子的打包 首个token：[CLS] 句子分割：[SEP] embedding：word, segment, and pos...
torch-fidelity:PyTorch中生成模型的高保真性能指标
05-13
诸如GAN之类的生成模型的评估是深度学习研究的重要组成部分。 在2D图像生成领域，三种方法得到了广泛传播：初始分数（aka IS） ，弗雷谢特初始距离（aka FID） 和内核初始距离（aka KID） 。 这些指标尽管具有清晰...
多保真度参数整定（Matlab）_Multi-fidelity Parameter Tuning (Matlab).zi
最新发布
09-04
多保真度参数整定是现代计算机科学中用于优化复杂系统参数的一种先进方法。在工程和科学研究中，常常遇到需要对系统进行仿真模拟的情况，而系统的仿真可以分为多个保真度级别，从快速但粗略的低保真模型到耗时长但...
Multi-fidelity meta modeling using 。。。 with online adaptive basis technique 论文学习
乐趣是人为构建的，构建是一种莫大的乐趣。
11-22 283
这篇文章称自己可以在拥有大量低可靠度（低质量）数据的前提下，仅使用少量高可靠度数据，让低可靠度的数据更多反映数据趋势 As a result, the low-fidelity data can better reflect the trend while satisfying the condition in which the low-fidelity data should be sufficiently provided through an efficient procedure. 烂数据只要给的
神经网络和深度学习-多分类问题Softmax Classifier
Ricardo_PING的Blog
11-29 1920
神经网络和深度学习-多分类问题Softmax Classifier
数据融合
热门推荐
congzhao27的专栏
09-05 1万+
简介 起源 信息融合(information fusion）起初被称为数据融合(data fusion），起源于1973年美国国防部资助开发的声纳信号处理系统，其概念在20世纪70年代就出现在一些文献中。在20世纪90年代，随着信息技术的广泛发展，具有更广义化概念的“信息融合”被提出来。在美国研发成功声纳信号处理系统之后，信息融合技术在军事应用中受到了越来越广泛的青睐。20世纪80年代
多精度算术学习
weixin_33963189的博客
01-16 211
2019独角兽企业重金招聘Python工程师标准>>> ...
全网最全-神经网络混合精度训练原理
ZOMI酱
12-06 2312
如图所示在网络模型训练阶段， 激活函数的梯度分布式中，有67%的精度小于2^24，直接使用FP16进行表示会截断下溢的数据，这些梯度值都会变为0。通常我们训练神经网络模型的时候默认使用的数据类型为单精度FP32。近年来，为了加快训练时间、减少网络训练时候所占用的内存，并且保存训练出来的模型精度持平的条件下，业界提出越来越多的混合精度训练的方法。这里的混合精度训练是指在训练的过程中，同时使用单精度（FP32）和半精度（FP16）。
深度学习精度提升 3 个小妙招：模型集成、知识蒸馏、自蒸馏
我爱计算机视觉
01-28 3960
本文转载自 AI公园。作者：Zeyuan Allen-Zhu编译：ronghuaiyang导读训练好的模型，用自己蒸馏一下，就能提高性能，是不是很神奇，这里面的原理到底是什么呢，这要从模...
【Multi-NN】解析参考：Numpy手写的多层神经网络
向往有那么一天梦幻的步态识别落地，开花❀！
10-17 1596
解析参考：Numpy手写多层神经网络
【机器学习】——模型调参、超参数优化、网络架构搜索
lingxw的博客
01-14 3555
AutoML在模型选择这一块做的比较好 超参数的优化（HPO）【比较通用】：通过搜索的方法，找到一个集合去调整模型的超参数 NAS（Neural architecture search）【专注于神经网络】：可以构造一个比较好的神经网络模型，使得能够拟合我们的任务 每个年代都有最大的技术痛点，当前AutoML可能是技术瓶颈。
跟李沐学AI：实用机器学习 | 第九章
weixin_44090706的博客
11-29 713
跟李沐学AI：实用机器学习 | 第九章 笔记整理
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值