ResFields： 一种即插即用的MLP增容工具

VIP文章 于 2023-09-15 21:09:16 发布
阅读量215 收藏
点赞数
分类专栏： NeRF系列 文章标签： NeRF
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/flow_specter/article/details/132911182
版权

ResFields： 一种即插即用的MLP增容工具

目录

概述

RESFIELDS 理论简介

实验（部分）

2D VIDEO APPROXIMATION1

TEMPORAL NEURAL RADIANCE FIELDS (NERF）

消融实验

环境配置

概述

论文名称： RESFIELDS: RESIDUAL NEURAL FIELDS FOR SPATIOTEMPORAL SIGNALS

作者单位：ETH Zurich; Microsoft; ROCS, University Hospital Balgrist, University of Zurich

投稿期刊：仍在arxiv preprint

本导读使用读者： 如果希望用比较小的改动，来减少当前MLP的体量，又不损失效果，可以尝试一下本文的方法

项目主页：ResFields: Residual Neural Fields for Spatiotemporal Signals (markomih.github.io)

解决问题： MLP的容量问题。

解决方式： 设计了一个时间残余层，命名为ResFields。文章全面分析了ResFields的性质，并提出了一种矩阵分解的技术来减少训练参数的体量。

优势： 可以与现有的技术无缝集成，并不影响现有技术的效果。

MLP在诸多任务中都取得了成功，尤其是近年的神经辐射场，对三维重建领域的研究者影响较大。MLP自身倾向于学习低频函数，进而会导致结果呈现细节不足的表现，针对该问题，往往采用位置编码等技术或特殊的激活函数对其进行缓解。尽管如此，在处理大型的时空信号时，仍难以达到令人满意的效果。

一种简单的、直观的增加MLP容量的方式是粗暴增加神经元数量。但是，这种做法不可避免地会使得推理与优化变慢，且会使得GPU成本更高。再有方法是对MLP权重进行meta-learn，但是这种方法也会导致训练速度变慢，且效果有限。

目前为止，最流行的提高模型容量的方式是分割时空信号场，并且对分离后的场进行优化，但是，这种方法会影响全局推理和泛化。

因此，这篇文章提出了一个技巧，通过使用time-dependent层来替代一个或几个MLP层。

image

time-dependent层的权重被建模为可训练的残差参数

最低0.47元/天 解锁文章
FLOWVERSE
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
使用 MLP 进行鸢尾花分类：一种对鸢尾花进行分类的多层感知器-matlab开发
05-30
此代码使用基于反向传播的 NN 学习对鸢尾花数据集进行分类。
论文笔记：Residual spatiotemporal autoencoder for unsupervised video anomaly detection
wangpan007的博客
04-21 953
文章目录摘要一、 介绍二、剩余时空自动编码器三、基于剩余时空自编码器(r - state)的正态性建模四、结果和数据（一）、数据集（二）、预处理和训练（三）、结果（四）、参数对结果的影响五、结论 摘要 使用一种正态建模方法来解决数据集中异常行为比较少的问题，其中异常被检测为偏离正常模式，基于这个问题提出了一种残差时空自编码器，用来检测视频中的异常检测，利用重建损失检测不规则帧，其中正常帧以较低的重建成本被很好地重建，反之则被识别为异常帧，通过与现有方法的比较，证明了剩余块（residual blocks）的
新坑来了！谷歌提出MLP-Mixer：一种用于视觉的全MLP架构
阿木寺的博客
05-05 689
一种仅基于多层感知机（MLP）的体系结构！可比肩并旨在超越成熟的CNN和大火的视觉Transformer的阵营工作，代码即将开源！ PS：这个能引爆一波视觉MLP工作么？也许之后是CNN、Transformer、MLP几大阵营了…谷歌继续挖坑，太强了！ 注1：文末附【Transformer】交流群 注2：整理不易，欢迎点赞，支持分享！ 想看更多CVPR 2021论文和开源项目可以点击： CVPR2021-Papers-with-Code ​ MLP-Mixer: An all-MLP Archi
论文阅读笔记-STRPM: A Spatiotemporal Residual Predictive Model for High-Resolution Video Prediction
qq_41234663的博客
02-24 370
CVPR2022的一篇关于视频预测的文章，它探究了在高分辨率情况下的视频预测任务。
【时空序列预测第三篇】PredRNN: Recurrent Neural Networks for Predictive Learning using Spatiotemporal LSTMs
AI蜗牛车
02-01 9860
前言 接下来保持住节奏，每周起码一篇paper reading，要时刻了解研究的前沿，是一个不管是工程岗位还是研究岗位AIer必备的工作，共勉！ 一、Address 这是nips2017年的一篇paper，来自于清华的团队 二、Introduction 2.1 创新思路 在Abstract中直接点名了本model的innovation，平时的时间和空间记忆都是在LSTM或者GRU cell中做文...
论文笔记Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction∗
cy_believ的博客
07-21 4956
摘要： 预测人流量对于交通管理和公共安全是非常重要的。因为人流量预测会被许多复杂的因素影响，（例如周围的交通状况，时间，天气），因此这项任务也是非常有挑战性的。论文提出一个基于深度学习的网络，ST-ResNet，来预测一个城市的每个区域的人群流入和流出。论文基于时空数据的特性设计一个端到端的ST-ResNet架构。更具体来说，论文利用残差神经网络架构来建模城市交通的时间邻近性，周期性，趋势性。对于...
支持向量神经网络（SVNN）：一种基于SVM相同原理的MLP神经网络训练新方法。-matlab开发
05-30
这段代码实现了一种新的 MLP 神经网络训练方法，称为支持向量神经网络 (SVNN)，在工作中提出：O. Ludwig； “以神经网络和级联分类器为重点的快速模式识别非参数方法研究；” 博士论文，科英布拉大学，科英布拉，...
Mnist-MLP:使用Mnist数据的多层感知器
05-09
Mnist多层感知器在这个项目中，首先，我实现了多层感知器。依存关系凯拉斯我用jupyter笔记本来实现
使用 java 实现一个全连接网络（MLP）
11-04
使用 java 实现一个全连接网络（MLP）。 最终能在 MNIST 数据集上取得 95% 左右的准确率。
Handwritten-Digits-Classification:一种新颖的模型
06-15
手写数字的 MNIST 数据集使用多层感知器神经网络、朴素贝叶斯分类器和一种新颖的混合模型 - 贝叶斯神经网络分类器进行分类。 ＃＃＃介绍MNIST 手写数字数据集的分类器：实现、分析和比较了多层感知器神经网络、朴素...
视频超分：RISTN（Residual Invertible Spatio-Temporal Network for Video Super-Resolution）
WangsyHebut的博客
01-03 1113
论文：用于视频超分辨率的残差可逆时空网络 代码：https://github.com/lizhuangzi/RISTN 文章检索出处：AAAI 2019本文提出了一种新的端到端架构，称为残差可逆时空网络（RISTN），与现有的基于循环卷积网络的方法相比，RISTN方法更深入，效率更高，且实现了STOA，主要贡献如下： 1）设计了一种轻量级残差可逆块（RIB），以更好地保持LR帧和相应的SR帧之间的空间信息。在RIB中，引入残差连接来学习细粒度特征表示，同时降低了信息的丢失。 2）提出了一种新的残差密集卷积L
STIGCN：Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition
LoveKKarlie_的博客
03-30 724
STIGCN：Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition时空初始图卷积网络用于基于骨骼的动作识别CVPR2020。
改进YOLOv8系列：即插即用新的注意力机制RFAConv
qq_44224801的博客
04-17 9454
空间注意力已被广泛用于提高卷积神经网络的性能，使其能够专注于重要信息。然而，它有一定的局限性。在本文中，我们对空间注意的有效性提出了一个新的观点，那就是它可以解决卷积核参数共享的问题。尽管如此，由空间注意产生的注意图中所包含的信息对于大尺寸卷积核来说是不够的。因此，我们引入了一种新的注意机制，称为感受场注意（RFA）。虽然以前的注意机制，如卷积块注意模块（CBAM）和协调注意（CA）只关注空间特征，它们不能完全解决卷积核参数共享的问题。
新坑来了！谷歌提出MLP-Mixer：一种纯MLP构成的视觉架构
阿木寺的博客
05-06 1494
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：AIWalker标题&作者团队MLP-Mixer: An all-MLP Architecture ...
分布式系统.pptx
04-29
分布式系统.pptx
源代码-360通用ASP防护代码(防sql注入).zip
04-29
源代码-360通用ASP防护代码(防sql注入).zip
node-v8.1.0-darwin-x64.tar.gz
最新发布
04-29
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
2020年ti杯电赛省赛A题代码整理
04-29
2020年ti杯电赛省赛a题的项目 分为 手机端（android），主显示端，姿态检测手环端，心率滤波读取端 mcu 采用的是esp32.结合了适配esp32的arduino以及rtos框架进行开发。 开发环境 及 语言 安卓为android studio java开发 esp32为platform io c/c++ 节点间通信方式 tcp直连，手机端为总服务端 手机端 android 原生开发 主显示端 屏幕ili9341 spi 触摸xpt2046 图形 adafruit gfx ad芯片 ads112c04 测温 lmt70 姿态检测端 9轴 bno055 心率检测 心电 ads1292
node-v6.15.0-sunos-x64.tar.gz
04-29
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
用pytorch写一个使用GPU对MLP模型批量调参的代码
04-19
可以的，以下是使用GPU对MLP模型批量调参的代码示例： ``` import torch from sklearn.model_selection import GridSearchCV from sklearn.neural_network import MLPRegressor # 加载数据集 X_train, y_train = load_data() # 定义参数搜索空间 param_grid = { 'hidden_layer_sizes': [(10,), (50,), (100,), (10, 10), (50, 50), (100, 100)], 'activation': ['relu', 'tanh', 'logistic'], 'solver': ['sgd', 'adam'] } # 创建模型实例 mlp = MLPRegressor() # 使用grid search进行参数调优 grid_search = GridSearchCV(mlp, param_grid=param_grid, cv=3, n_jobs=-1) grid_search.fit(X_train, y_train) # 打印最优参数 print("Best parameters: ", grid_search.best_params_) # 使用最优参数创建最终模型 mlp = MLPRegressor(**grid_search.best_params_) # 将数据装入GPU X_train = torch.tensor(X_train).float().cuda() y_train = torch.tensor(y_train).float().cuda() # 将模型装入GPU mlp = mlp.cuda() # 训练模型 mlp.fit(X_train, y_train) # 将模型从GPU装回CPU mlp = mlp.cpu() # 预测 y_pred = mlp.predict(X_test) ``` 需要注意的是，这里用到了sklearn库的GridSearchCV函数来进行参数搜索，但是该函数默认使用CPU，如果要使用GPU加速，需要把n_jobs参数设为-1，具体说明详见sklearn文档。除此之外，还需要用torch.tensor()将数据从numpy array转换为pytorch tensor，并且把模型装入GPU使用mlp.cuda()，训练完成后再将模型装入CPU使用mlp.cpu()。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FLOWVERSE

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值