阅读笔记 CR-Net: A Deep Classification-Regression Network for Multimodal Apparent Personality Analysis

最新推荐文章于 2022-12-07 21:29:35 发布
最新推荐文章于 2022-12-07 21:29:35 发布
阅读量1.2k 收藏 4
点赞数 1
分类专栏： 多模态 个性分析 文章标签： 个性分析 多模态
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq874455953/article/details/108985145
版权

CR-Net: A Deep Classification-Regression Network for Multimodal Apparent Personality Analysis

模型结构

在这里插入图片描述

模型包括数据处理， 特征提取， 预测回归三个部分， 下面分别介绍

数据预处理

  • visual

    每个视频取样32帧， 而且每一帧又分为**背景和脸部 **图片 ，以往的工作专注于面部特征， 但是作者认为其背景特征也是一种补充信息， 作者举了一个例子， 单看这个人的面部可能会觉得他很生气， 但是结合背景，可以知道这个人在进行演讲，不一定是生气。

在这里插入图片描述

  • audio

    使用librosa 直接转换成 固定维度的向量， 少了补0

  • text

    使用2015年提出的skip-thought vector 来表达文本， 可以查看这个解释https://zhuanlan.zhihu.com/p/100271181

特征提取

特征提取使用提出的一个CR-Net 结构：此结构ResNet-34维基础 ，在第一阶段，我们得到了具有交叉熵损失的分类特征。在第二阶段，利用softmax函数对分类特征进行权值生成，并得到这些特征的加权和。然后，我们使用它与MSE, L1和我们提出的贝尔损失进行回归

交叉熵损失使得专注于正确的分布， MSE 则是表示真实值和预测值的距离， CR-Net主要思想是 如果我们想利用分类的好处作为回归的指导，可以用one-hot分类预测来估计样本属于哪个子区间。这将通过修剪值范围来指导回归，以便实现更准确的预测。

提取过程如下：

将从ResNet提取的特征 经过一个卷积层得到该类别的 分类特征
在这里插入图片描述

通过这些类别的特征计算类别权重
在这里插入图片描述

我们计算每个类的分类特征和权重和

在这里插入图片描述

然后对 进行加权后的向量进行回归即可

ETR 回归预测

loss选择

作者没有选择 MSE 或者 MAE 等传统loss， 这是为什么呢？作者给出了解释： 总结而言就是 使用 MSE 等loss 会使得 模型预测值都偏向于0.5， 这对于一般的任务其实区别不大， 但是对于此数据集， 我们发现数据集在 预测真实值 0.3-0.7之间的数据占比为75% 以上， 所以你可以理解为对于这个模型 他预测0.5肯定是没问题的。

作者给出下面的一个图 ， a 代表MSE ， b 代表MAE， c 代表作者使用的 Bell Loss

在这里插入图片描述

这个图解释了 如果batch的实际值是由大部分是0.4,0.5,0.6， 那么我计算这个batch的loss时， 预测为0.5时loss最小。但是作者的这个是解决了这个问题， 最优 可能是0.4 0.5 0.6

Bell loss 表达式如下

在这里插入图片描述

最终模型的loss 表示如下：
在这里插入图片描述

回归预测

使用 Extremely randomized trees 极端随机树 原理可看：

https://blog.csdn.net/zhaocj/article/details/51648966

评价

  • 特征提取方面创新在于 先分类在回归， 用分类结果算权重，提取到更好的分类向量， 同时在前面使用Res-Net网络提取
  • loss 设计方面也非常有新意， Bell loss是作者设计出来，旨在去是的预测不是大量接近于0.5
  • 预测方面使用2006年提出的 Extremely randomized tree， 可能是会比MLP更加好？ 作者没有给出对比实验。
  • 总体来说得到了最新最好的结果， 但是没有用到最新的方法？ 提取是CNN的， 虽然是序列化数据数据但是没有用transformer这种结构，说明数据集还可能有改进的空间
B站：阿里武
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
DeepClassifier——基于pytorch的易用的文本分类库
qq_36087035的博客
12-19 245
DeepClassifier——基于pytorch的易用的文本分类库动机介绍安装已支持模型列表快速使用数据集数据探索数据处理训练 动机 首先谈谈我为什么要开发这个库。有两个原因吧～第一，我自身是做NLP这块的，相信做NLP的小伙伴们都知道，文本分类是NLP中最基础并且是最广泛的任务。同时这也是我们入门NLP的尝试的第一个任务。虽然目前已有的文本分类模型都相对简单，但是实现起来用有点费时间，尤其是在打比赛的时候，很耗费时间。而目前市面上并没有这样用于文本分类的库，所以我就希望能够将经典的文本分类模型以及一些常
Deep Ordinal Regression Network for Monocular Depth Estimation
weixin_44529634的博客
09-06 3040
一.Deep Ordinal Regression Network for Monocular Depth Estimation 用于单目深度估计的深度有序回归网络 CVPR 2018 在3D视觉感知主题里，单目图像深度估计是一个重要并且艰难的任务。虽然目前的方法已经取得了一些不错的成绩，但是这些方法普遍忽略了深度间固有的有序关系。针对这一问题，我们提出在模型中引入排序机制来帮助更准确地估计图像的深度信息。具体来说，我们首先将真值深度（ground-truth depth）按照区间递增（SID）的方法预分为
SSR-Net（Soft Stagewise Regression Network）
linlinle的博客
09-25 8809
摘要 1.受DEX启发: 将年龄预测回归问题变为多分类问题 2.由粗到细策略,每个阶段执行部分年龄分类,任务量少（Stagewise）：每个阶段预测类别少，产生更小参数和更紧凑的模型 3.解决量化年龄问题,引入动态范围,让每个bin可以平移和缩放（Soft ）：允许bin根据输入来进行平移和缩放 4.模型大小可以达到0.32M 损失函数 在训练时，最小化平均误差函数,这里,年龄预测 ...
机器学习模型数据结构：logistic regression, neural network, convolutional neural network
11-25 93
可以用两种方式来看神经网络，一种就是层的集合，也就是层组成的数组，另一种是神经元的集合，也就是神经元组成的Graph。 基于神经元的实现方式中，需要定义两个类 Neuron， Weight Neuron类的实例相当于是vertex，Weight组成的链表相当于是邻接表和逆邻接表。 基于层的实现方式中，每种层都对应一种层类，分别是 Logis...
Deep Learning-Based Classification of Hyperspectral Data
08-05
我们通过遵循基于经典光谱信息的分类来验证堆叠自动编码器的合格性。其次，提出了一种新的空间主导信息分类方法。然后，我们提出了一种新颖的深度学习框架来合并这两个特征，从中我们可以获得最高的分类准确性。该框架是主成分分析（PCA），深度学习架构和逻辑回归的混合体
Linguistically-Regularized-LSTM-for-Sentiment-Classification:纸笔记
05-08
Neural Networks for Sentiment Classification通过递归自编码器神经网络建立句子的语义表示，输入文本通常是树结构的，具体工作可参考：通过CNN建立句子的语义表示，输入是文本序列，具体工作可参考：通过LSTM模型
go-deep:人工神经网络
05-03
导入go-deep包 import ( "fmt" deep "github.com/patrikeh/go-deep" "github.com/patrikeh/go-deep/training" ) 定义一些数据... var data = training. Examples { {[] float64 { 2.7810836 , 2.550537003
pytorch-sentiment-analysis-classification:情感分析分类的PyTorch教程（RNN，LSTM，Bi-LSTM，LSTM + Attention，CNN）
05-24
情感分析分类 先决条件 安装依赖项 pip install -r requirements.txt 安装Spacy英语数据 python -m spacy download en 框架 火炬 数据集 Cornell MR（电影评论）数据集 实施 RNN ...有线电视新闻网
ECG-Synthesis-and-Classification:用于ECG合成的1D GAN和3种模型
05-08
心电图合成与分类用于ECG合成的一维GAN和3种模型：具有跳过连接的CNN，具有LSTM的CNN和具有LSTM的CNN，以及用于ECG分类的注意力机制。动机心电图被心脏病专家和医学从业者广泛用于监测心脏健康。...
Bert-Multi-Label-Text-Classification：此存储库包含用于多标签文本分类的预训练BERT模型的PyTorch实现
02-03
您将看到： ├── pybert| └── callback| | └── lrscheduler.py　| | └── trainingmonitor.py　| | └── ...| └── config| | └── basic_config.py #a configuration file for storing model ...
吴恩达深度学习Logistic Regression with a Neural Network mindset
10-11
本人把网页版的转换为电脑版python工程了，加了俩个测试函数。
【论文笔记】Leveraging Datasets with Varying Annotations for Face Alignment via Deep Regression Network
shaoxiaohu的专栏
03-20 2931
参考文献： Zhang J, Kan M, Shan S, et al. Leveraging Datasets With Varying Annotations for Face Alignment via Deep Regression Network[C]//Proceedings of the IEEE International Conference on Computer Visio
阅读笔记——SSR-Net: A Compact Soft Stagewise Regression Network for Age Estimation
哇哇的博客
09-03 797
年龄估计的一个问题是同样年龄的不同人可能会有较大的外观差异。年老的人可能看上去很年轻，一些年轻人也可能看上去比较老。而另一个问题则是当前的模型都太大了，大小甚至超过500MB，无法在端侧移动设备上部署运行。SSR-Net（Soft Stage wise Regression Network） 提出网络非常大的原因是最后的分类层占据了大量的参数，因此提出了一种级联分类的年龄估计方法。通过将原来的需要输出 100 个分类类别数降低到设定数目，并使用多个层级进行分类，对每个层级进行均值计算来得到年龄估计。
《SRN Stacked Regression Network for Real-time 3D Hand Pose Estimation》略读与实践
AlgoMonster的博客
07-14 705
《SRN: Stacked Regression Network for Real-time 3D Hand Pose Estimation》略读与实践 这篇与《AWR: Adaptive Weighting Regression for 3D Hand Pose Estimation》相似，本质都还是3Dheatmap用来做深度图手部关键点坐标估计，最大不同在于这篇论文是迭代stage的方法不断finetune回归关键点坐标的。 作者认为去掉解码网络结构，模型会更小更快，效果不一定会变差，因为之前典型的具
（2019，PersEmoN）用于分析表象性格、情绪及其关系的深度网络
qq_44681809的博客
12-07 794
分析表象性格和情绪是情感计算的核心。现有的成果是对这两者独立的分析。本文探索能否基于面部图像联合学习这两种高级情感特征及其关系。因此，本文提出了PersEmoN。这是一个端到端训练的类似Siamese的深度网络。它由两个卷积网络组成：其中一个用于表象性格分析，另一个用于情绪分析。它们共享底层的特征提取模块，并且在多任务学习的框架内进行优化。情感和性格网络有各自的注释数据集。此外，采用类似对抗的损失函数来提升异构数据集之间的表示相干。基于此，本文还探讨了情绪与表象性格的关系。
论文阅读笔记：《CRNet: Cross-Reference Networks for Few-Shot Segmentation》
weixin_42143615的博客
10-15 1401
论文阅读笔记：《CRNet: Cross-Reference Networks for Few-Shot Segmentation》 论文下载地址：https://arxiv.org/abs/2003.10658 转载请注明：https://blog.csdn.net/weixin_42143615/article/details/109105516 一、论文简介 提出了用于少样本分割的交叉引用网络（CRNet）。与以前的只能预测查询图像中遮罩的工作不同，我们提出的模型同时对支持图像和查询图像进行预
从Logistic Regression 到 Neural Network
机器会学习的博客
05-13 697
Logistic Regression to Neural Network Logistic Regression 可以看作是一个没有隐藏层的 Neural Network Neural Network 可以看作是有多个Logistic Regression 堆叠而成的 Logistic Regression Neural Network with one hidden layer １...
CornerNet详解
MAX的专栏
09-16 7747
论文动机 1、anchor-box 好用，但是有两个缺点： 1）、数量太多，造成负样本太多，样本不均衡，导致训练效率低。 2）、anchor-box引入太多超级参数，数量，大小，长宽比等增加算法设计难度。 所以想通过一组关键点，用左上角和右下角的点来代替bbox。 网络结构 Heatmaps预测哪些点最有可能是Corners点，Embeddings用于表征属于相同对象的corner的相似度。它们的通道数都为C，C是object的类别数 (不包括background) 。最后的Offsets用于对corn
深度学习用于视频检测_视频如何用于检测您的个性？
weixin_26752765的博客
09-13 561
深度学习用于视频检测 视频是新的第一印象！ (Videos are the New First Impressions!) Think about the approximate number of video calls you have been a part of since March, 2020. Now, compare it to the number of video calls ...
ecg-dualnet: atrial fibrillation classification in electrocardiography using
最新发布
01-27
ECG-DualNet是一种用于心电图（ECG）的房颤分类的神经网络模型。房颤是一种常见的心律失常，通常通过ECG来诊断。ECG-DualNet利用深度学习算法来识别和分类ECG中的房颤信号，可以帮助医生更准确地进行诊断和治疗。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值