MP : Human Motion 人体运动的MLP方法

最新推荐文章于 2024-03-05 10:10:20 发布
最新推荐文章于 2024-03-05 10:10:20 发布
阅读量556 收藏
点赞数
分类专栏： 深度学习 文章标签： 人工智能 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ResumeProject/article/details/126648796
版权

Back to MLP: A Simple Baseline for Human Motion Prediction

conda install -c conda-forge easydict

简介

papercode
https://arxiv.org/abs/2207.01567v2https://github.com/dulucas/siMLPe

在这里插入图片描述

       Back to MLP是一个仅使用MLP的新baseline,效果SOTA。本文解决了人类运动预测的问题，包括从历史观测的序列中预测未来的身体姿势。本文表明，结合离散余弦变换（DCT）、预测关节残余位移、优化速度作为辅助损失等一系列标准实践，基于多层感知器（MLP）且参数仅为14万的轻量级网络可以超越最先进的性能。对Human3.6M（注：这个数据集实际大小是100多M），AMASS和3DPW数据集的详尽评估表明，我们名为siMLPe的方法始终优于所有其他方法。我们希望我们的简单方法可以作为社区的强大基线，并允许重新思考人类运动预测问题。

  • 训练时引入Ground Truth,获得其隐藏表示作为中间目标指导姿态预测？

有关模型

  • 函数入口为 **/myproject/siMLPe/exps/baseline_h36m/train.py
DCT & IDCT
  • dct_m,idct_m = get_dct_matrix(config.motion.h36m_input_length_dct)
  • N=50，即参数config.motion.h36m_input_length_dct=50，在**/myproject/siMLPe/exps/baseline_h36m/config.py的51行C.motion.h36m_input_length_dct = 50

在这里插入图片描述

模型的设置
  • 以main中的两句话为入口，模型的设置只需要
model = Model(config)# from model import siMLPe as Model
model.train()

{'seed': 304, 'abs_dir': '/home/fly100/myproject/siMLPe/exps/baseline_h36m', 'this_dir': 'baseline_h36m', 'repo_name': 'siMLPe', 'root_dir': '/home/fly100/myproject/siMLPe', 'log_dir': '/home/fly100/myproject/siMLPe/exps/baseline_h36m/log', 'snapshot_dir': '/home/fly100/myproject/siMLPe/exps/baseline_h36m/log/snapshot', 'log_file': '/home/fly100/myproject/siMLPe/exps/baseline_h36m/log/log_2022_10_18_20_47_09.log', 'link_log_file': '/home/fly100/myproject/siMLPe/exps/baseline_h36m/log/log_last.log', 'val_log_file': '/home/fly100/myproject/siMLPe/exps/baseline_h36m/log/val_2022_10_18_20_47_09.log', 'link_val_log_file': '/home/fly100/myproject/siMLPe/exps/baseline_h36m/log/val_last.log', 'h36m_anno_dir': '/home/fly100/myproject/siMLPe/data/h36m/', 'motion': {'h36m_input_length': 50, 'h36m_input_length_dct': 50, 'h36m_target_length_train': 10, 'h36m_target_length_eval': 25, 'dim': 66}, 'data_aug': True, 'deriv_input': True, 'deriv_output': True, 'use_relative_loss': True, 'pre_dct': False, 'post_dct': False, 'motion_mlp': {'hidden_dim': 66, 'seq_len': 50, 'num_layers': 64, 'with_normalization': False, 'spatial_fc_only': False, 'norm_axis': 'spatial'}, 'motion_fc_in': {'in_features': 66, 'out_features': 66, 'with_norm': False, 'activation': 'relu', 'init_w_trunc_normal': False, 'temporal_fc': False}, 'motion_fc_out': {'in_features': 66, 'out_features': 66, 'with_norm': False, 'activation': 'relu', 'init_w_trunc_normal': True, 'temporal_fc': False}, 'batch_size': 256, 'num_workers': 8, 'cos_lr_max': 1e-05, 'cos_lr_min': 5e-08, 'cos_lr_total_iters': 40000, 'weight_decay': 0.0001, 'model_pth': None, 'shift_step': 1, 'print_every': 100, 'save_every': 5000}

siMLPe初始化

class siMLPe(nn.Module):
    def __init__(self, config):
        self.config = copy.deepcopy(config)
        super(siMLPe, self).__init__()
        

        self.motion_mlp = build_mlps(self.config.motion_mlp)# 堆叠多层的MLP
        
        self.motion_fc_in = nn.Linear(self.config.motion.dim, self.config.motion.dim)# 66->66
        self.motion_fc_out = nn.Linear(self.config.motion.dim, self.config.motion.dim)# 66->66

        self.reset_parameters()# 权重->xavier,偏置->0
         self.config.motion_mlp.seq_len # 50
        self.arr0 = Rearrange('b n d -> b d n')
        self.arr1 = Rearrange('b d n -> b n d')
堆叠多层的MLP
class TransMLP(nn.Module):
    def __init__(self, dim, seq, use_norm, use_spatial_fc, num_layers, layernorm_axis):
        super().__init__()
        self.mlps = nn.Sequential(*[
            MLPblock(dim, seq, use_norm, use_spatial_fc, layernorm_axis)
            for i in range(num_layers)])

    def forward(self, x):
        x = self.mlps(x)
        return x

在这里插入图片描述
在这里插入图片描述

其中的Temporal_FC或Spatial_FC

class Temporal_FC(nn.Module):
    def __init__(self, dim):
        super(Temporal_FC, self).__init__()
        self.fc = nn.Linear(dim, dim)# 类似序列长度到序列长度的，下边的Spatial_FC是转置了的

    def forward(self, x):
        x = self.fc(x)
        return x

class Spatial_FC(nn.Module):
    def __init__(self, dim):
        super(Spatial_FC, self).__init__()
        self.fc = nn.Linear(dim, dim)
        self.arr0 = Rearrange('b n d -> b d n')
        self.arr1 = Rearrange('b d n -> b n d')

    def forward(self, x):
        x = self.arr0(x)
        x = self.fc(x)
        x = self.arr1(x)
        return x

作者自己实现了LN

在这里插入图片描述
在这里插入图片描述

然后就是传播过程了

    def forward(self, x):

        x_ = self.fc0(x)
        x_ = self.norm0(x_)
        x = x + x_

        return x

模型的训练

在这里插入图片描述

siMLPe(
  (arr0): Rearrange('b n d -> b d n')
  (arr1): Rearrange('b d n -> b n d')
  (motion_mlp): TransMLP(
    (mlps): Sequential(
      (0): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (1): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (2): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (3): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (4): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (5): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (6): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (7): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (8): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (9): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (10): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (11): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (12): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (13): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (14): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (15): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (16): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (17): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (18): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (19): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (20): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (21): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (22): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (23): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (24): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (25): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (26): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (27): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (28): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (29): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (30): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (31): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (32): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (33): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (34): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (35): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (36): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (37): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (38): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (39): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (40): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (41): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (42): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (43): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (44): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (45): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (46): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (47): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (48): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (49): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (50): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (51): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (52): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (53): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (54): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (55): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (56): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (57): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (58): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (59): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (60): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (61): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (62): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
      (63): MLPblock(
        (fc0): Temporal_FC(
          (fc): Linear(in_features=50, out_features=50, bias=True)
        )
        (norm0): Identity()
      )
    )
  )
  (motion_fc_in): Linear(in_features=66, out_features=66, bias=True)
  (motion_fc_out): Linear(in_features=66, out_features=66, bias=True)
)

代码

环境准备
conda create -n simpmlp python=3.8
conda activate simpmlp
conda install pytorch==1.9.0 torchvision==0.10.0 torchaudio==0.9.0 cpuonly -c pytorch
- PyTorch >= 1.5
- Numpy
- CUDA >= 10.1
- Easydict  conda install -c conda-forge easydict 
- pickle   安装python后已包含pickle库，不需要单独再安装
- einops 
- pip install 
- six
- pip install tb-nightly https://blog.csdn.net/weixin_47166887/article/details/121384701
-                        https://blog.csdn.net/weixin_46133643/article/details/125344874
数据准备
  • 解压数据
(base) ┌──(fly100㉿kali)-[~/myproject/siMLPe-main/data]
└─$ unzip h3.6m\ \(1\).zip

在这里插入图片描述

  • 将文件夹名称3.6 改为36

在这里插入图片描述
在这里插入图片描述- 将文件移到外边

在这里插入图片描述

  • 原因在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述

在这里插入图片描述

#  H3.6M
cd exps/baseline_h36m/
sh run.sh

在这里插入图片描述

# Baseline 48
CUBLAS_WORKSPACE_CONFIG=:4096:8 python train.py --seed 888 --exp-name baseline.txt --layer-norm-axis spatial --with-normalization --num 48

人类有没有可能是被设计出来的？为什么视网膜贴反了？

细节

数据

  • 在读取数据时的数据增强（50%的几率倒序）
    在这里插入图片描述
  • 在获取数据时一次性获取连续的60个动作数据(60,66),前50个作为input,后10个作为target,一个66纬度的数据例子：

在这里插入图片描述

训练

  • 要训练40000个epoch???
    在这里插入图片描述
    在这里插入图片描述
FakeOccupational
关注
专栏目录
人体姿势估计论文：Simple Baselines for Human Pose Estimation and Tracking及其PyTorch实现
mingo_敏
12-13 2177
Simple Baselines for Human Pose Estimation and Tracking PDF: https://arxiv.org/pdf/1804.06208.pdf PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks PyTorch代码: https://github.com/leoxiaobi...
【MotionCap】SLAHMR 在 Colab 的demo运行笔记
最新发布
突围
06-27 101
SLAHMR Colab
Back to MLP: A Simple Baseline for Human Motion Prediction
weixin_46945052的博客
03-05 319
输入为T*C，T帧，每一个动作C个参数表示，其中C=3*K（K是关节点数，一个关节点由一个3维坐标表示）；用RNN、GCN等复杂网络结构的参数量很大，超过200万→使用基于MLP的轻量级网络，只有0.14万个参数。zi表示第i个block 的输出（形状为T*C，i从1到m），W的维度为T*T，bi为T。N和T不一定要相等，T更大时就截取输出的前N帧作为预测结果，T更小的时候就将其扩充到N帧。接着，像一开始的全连接层一样，只对特征的空间维度操作。首先对数据进行DCT变换，采用DCT变换对时间信息进行编码，
Human Motion Analysis: A Review理解
不当初
11-29 1233
上个讨论班老师说关于论文要当成一个任务来做，而且必须完成，我还实在不知道该如何着手。也是烦死了。这篇论文是J.K.Aggarwal 和Q.Cai两个人写的。如果你已经写出了论文，请告诉我，应该怎么开始着手写论文。我快疯了。     这是一篇综述类的文章，之前看过了他写的Human Activity Analysis，而这一篇是相对于上一篇的10年前的论文，这十年间究竟发生了什么样的进步，而这十年
字节有『芯』在跳动，了吗？YOLOv7目标检测实现：确实挺好；伯克利博士找工作的6个月；软件工程资源大列表 | ShowMeAI资讯日报
热门推荐
ShowMeAI研究中心
07-14 1万+
ShowMeAI资讯日报 2022-07-14 期，字节正大量招聘芯片工程师；YOLOv7目标检测的ONNX实现；基于T5 Transformer抽取文本关键词；Primary 温暖怀旧的Obsidian获奖主题；Poniard 简化了ML模型拟合与比较；清华大学开源操作系统训练营；软件工程资源大列表；4篇前沿论文…点击获取全部资讯.........
CVPR2018 human action/motion prediction (人体姿势预测)
姚太平的博客
01-06 1万+
‘’‘很久之前就想写这篇文章，自己的工作已投CVPR2018，想总结一下。更新：CVPR2018已被接收，有时间会在下一篇博客里介绍。’‘’比较早的方法有很多，HMM，CRBM， 高斯过程等。本文主要总结一下最近顶会文章采取的方法。Forecasting Human Dynamics from Static Images （CVPR2017）这篇文章主要是在 Hourglass network上加...
机器视觉开源处理库汇总
yangdeshun888的博客
01-16 9696
从cvchina搞到的机器视觉开源处理库汇总，转来了，很给力，还在不断更新。。。 通用库/General Library OpenCV 无需多言。 RAVL Recognition And Vision Library. 线程安全。强大的IO机制。包含AAM。 CImg 很酷的一个图像处理包。整个库只有一个头文件。包含一个基于PDE的光流算法。 图像，视频I
Open AI 自监督学习笔记：Self-Supervised Learning | Tutorial | NeurIPS 2021
NLOS的博客
03-12 952
Triplet (三胞胎) loss: because it demands an input triplet containing one anchor, one positive and one negative。then, 对于两个不同的输入x1和x2，their distance can be d(x1,x2) = L(f(x1),f(x2))总之，对比学习理论起到了很大作用，但仍有很长的路要走。Lexical (词汇的) Edits。Precursors 先驱者。
2023（cpvr+顶刊）三维重建论文汇总（持续更新）
qq_44828583的博客
10-12 1万+
2023年 三维重建方向论文合集
深度神经网络：多层感知器（MLP）-matlab开发
05-29
多层感知器（Multilayer Perceptron，MLP）是最早也是最基础的DNN模型之一，它在解决非线性可分问题时表现出强大的能力。在MATLAB环境中实现MLP，我们可以利用其强大的矩阵运算和丰富的机器学习工具箱。 本项目是...
Audio-Classification-using-CNN-MLP:使用深度学习（MLP、CNN）的多类音频分类
05-29
title = {{vishalshar/Audio-Classification-using-CNN-MLP: first release}}, month = Aug, year = 2020, publisher = {Zenodo}, version = {v1.0.0}, doi = {10.5281/zenodo.3988690}, url = {
matlab绘图的形状代码-MLP-Neural-Network-in-Matlab:该存储库包括MLP神经网络结构的实现。它还包含在二次函数
05-23
matlab绘图的形状代码Matlab中的MLP神经网络 该存储库包括MLP神经网络结构的实现。 它还包含一个在二次函数逼近问题中学习和测试该网络的示例。 目录 （ENG） （ENG） （ENG） （PL） （PL） 代码说明 Project包含7...
Diffusion扩散模型简述 + 代码demo
ResumeProject的博客
06-01 1万+
扩散模型是一种生成模型 GAN FLOW VAE 需要用到的概率事实： 条件概率 马尔科夫链的转移公式 高斯分布的KL散度公式 KL(P,Q)=logσ2σ1+σ2+(μ1−μ2)22σ22−12(其中P.Q为一维高斯分布) KL(P,Q)=log\frac{\sigma_2}{\sigma_1}+\frac{\sigma^2+(\mu_1-\mu_2)^2}{2\sigma_2^2} -\frac12 { \tiny(其中P.Q为一维高斯分布)}KL(P,Q)=logσ1​σ2​​+2σ22​σ2+(μ
WideResNet(宽残差网络)介绍与代码
ResumeProject的博客
01-10 5901
《Wide Residual Networks》        深度残差网络被证明能够扩展到数千层并且仍然具有改进的性能。然而，每提高== 1%== 的准确率都会使层数增加近一倍，因此训练非常深的残差网络存在特征重用减少的问题，这使得这些网络的训练速度非常慢。为了解决这些问题，在本文中，我们对 ResNet 块的架构进行了详细的实验研究，在此基础上我们提出了一种新颖的架构，我们减少了深度和增加残差网络的宽度。我们将由此产生的网络结构称为宽
yolov5 80个类别对照表
ResumeProject的博客
10-30 5672
yolov5 80个类别对照表
多模态：指代图像分割
ResumeProject的博客
04-12 5348
指代图像分割         指代图像分割的目的是通过一个自然的语言表达来分割指代物。由于文本和图像之间的不同数据属性，网络很难很好地对齐文本和像素级的特征。         现有的方法使用预训练模型来促进学习，但将语言/视觉知识从预训练模型中分离出来，忽略了多模态对应信息。受对比语言图像预训练（CLIP）的启发，本文提出了一种端到端CLIP驱动的参
模型可视化工具 torchinfo 计算每层输出的Output Shape
ResumeProject的博客
06-07 4758
官方文档 https://www.cnpython.com/pypi/torchinfo 之前的方法总是print(model)，或者在debug的时候去取值，但是在pip install torchinfo ，可以很方便的查看网络中的信息： # 官方的例子 from torchinfo import summary import torchvision model = torchvision.models.resnet152() summary(model, (1, 3, 224, 224), dept
OCR EasyOCR + PaddleHub 光学字符识别（Optical Character Recognition, OCR）
ResumeProject的博客
04-05 4532
使用 EasyOCR 从图像中检测文本：实践指南 pip3 install easyocr
EAST密度极限破裂预测：LSTM神经网络优于MLP
"该研究基于神经网络技术，特别是多层感知机(MLP)和长短时记忆网络(LSTM)，对全超导托卡马克核聚变实验装置EAST的密度极限破裂进行了预测。通过分析2014年至2019年的放电数据，选取13种诊断信号作为特征输入，构建了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值