阿里武的技术博客

Bi-modal first impressions recognition using temporally ordered deep audio and stochastic visual features.本文提出了两种 双模态深度神经网络架构，它们具有两个分支，一个分支用于提取音频特征，另一个分支用于提取视觉特征。 在预处理原始视频数据之后，会生成模型的音频和视觉分支的输入。从两个分支提取的特征将进行融合，整个网络则是端到端训练的。数据预处理一个视频被分成多个不重叠的部分（子视频）， 对于每个

Multimodal First Impression Analysis with Deep Residual Networks前言这篇文章也算是一个老文章了，不过效果也非常好，准确率也在前三名之内，有必要读读它的模型结构以及特征方法，特别是他对于声音提取的方面好像有一些小创新，虽然是两个模块，但也有借鉴意义，模型结构以下是整个模型的一个流程图，通过，训练集进行训练得到一个模型，然后把被测试者的视频输入到模型中，得到它的个性分数以及是否是一个好的面试者（通过还是不通过）Audiovisual　模

A Personality traits and job candidate screening via analyzing facial videos前言这篇文章看起来对个性的提取的话，只提取了一个脸部特征，但是效果也不错，我们可以看到它的提取的脸部的人是如何提取的以及它的分类方法，从摘要中我们可以看到它是使用了支持向量机的回归，这种比较传统的回归方法。模型方法模型的整个流程如下图所示，总共包含三个方面，第1个是视觉特征提取，然后是个性回归，最后是面试分类，脸部预处理使用 Haar cas

Multi-modal Score Fusion and Decision Trees for Explainable Automatic Job Candidate Screening from Video CVs这篇文章作为2017年的文章，其准确率非常之高，到2020年也只有一篇超过了它的准确率，所以我们确实需要去看一看这一篇的特征提取方法，以及它所用的融合方法和一些其他的结构模型结构视觉特征提取脸部特征对每一帧，使用人脸对齐方法 Supervised Descent Method， 提取

虽然这篇论文的投的期刊IF不是很高，但仍有一些值得学习和借鉴的地方，2020年的最新多模态情感分析1.模型结构1.1 面部特征特征提取用OpenFace 提取68个脸部的坐标点，脸部边界（20），眼睛眉毛（22），鼻子（9），嘴巴（20）然后对坐标点进行线性的变换，把它规划，去掉旋转角度、平移角度，得到面部的正脸照片。resize到224*224建模对生成的连续的人脸照片进行建模，使用两种模型结构：ResNeXt网络CNN-GRU网络其中CNN是AlexNet,模型结构如图

CR-Net: A Deep Classification-Regression Network for Multimodal Apparent Personality Analysis模型结构模型包括数据处理， 特征提取， 预测回归三个部分， 下面分别介绍数据预处理visual每个视频取样32帧， 而且每一帧又分为**背景和脸部 **图片 ，以往的工作专注于面部特征， 但是作者认为其背景特征也是一种补充信息， 作者举了一个例子， 单看这个人的面部可能会觉得他很生气， 但是结合背景，可以知道

文章目录前言总结对于video对于text使用过：对于audio 使用过对于特征提取总结前言上周我阅读了4篇关于多模态的个性分析论文，其实这些多么他的个性论文和多模态的情感分析都是一个道理，都是通过多个模态来进行分类，这是我的4篇论文的阅读笔记地址。Automatic Extraction of Personality from Text Challenges and Opportunitieshttps://blog.csdn.net/qq874455953/article/details/10

1. 总揽这篇文章是2017年的IEEE的会议论文，这篇论文的目的是在于减少候选者的选择时间，在招聘工作这种情形下，它的方法是通过基于视觉，听觉以及文本的三个方面的线索，用于去选择一个好的工作候选人，对于每一个方面的特征提取，使用了深度学习的算法，最后结果显示这个实验结果相较于目前的，结果有着非常好的表现。这篇文章的关键点在于三模态 、个性自动析， 下面将介绍三个模态分别使用的是怎样的方法进行特征提取以及多特征融合是怎样处理的。2. 方法提取的流程图如下：2.1 声音特征提取作者认为，情感分析

Automatic Extraction of Personality from Text Challenges and Opportunities 阅读笔记论文地址 https://ieeexplore.ieee.org/document/9005467/摘要在这项研究中，我们研究了从文本中提取人格特质的可能性。我们通过让专家在来自多个在线来源的大量文本中注释个性特征来创建了一个大数据集。从这些带注释的文本中，我们选择了一个样本，并进行了进一步的注释，得到了两个数据集 （一个是大型低可靠性的数据

文章目录1. 总览2. 模型结构2.1 上下文无关的特征提取2.1.1 text-CNN 提取文本特征2.1.2 openSMILE 提取声音特征2.1.3 3D-CNN 提取图像特征2.2 上下文有关的特征提取2.2.1 Contextual LSTM 结构2.3 特征融合2.3.1 非层次化的框架结2.3.1 层次化的框架结3. 结论4. 总结1. 总览这是2017年的一篇文章，ACL的会议论文。这篇文章讲的是多模态的情感分析，在当前的研究中，通常把话语当成一个独立的部分，而不考虑话语前后

1. 总揽提出了一个三模态的模型结构用于从视频片段中预测大五性格不同模态使用CNN， 三个模态提取出的特征使用 FC（全连接层）进行融合，特征提取， 得到最终结果。结果显示， 相较于使用单模态， 准确率提升9.4%，证明多个模态之间的相互作用可以进一步的得到更好的模型每个模态提取的特征和每个个性特点之前有关联性2. 介绍人类对于判断一个人的性格，往往不是通过单一方面的考虑， 例如单看行为， 或者单听声音。而是各个方面的综合考虑。因此对于预测个性也应该多个地方考量， 也就是多模态问题。

代码地址https://github.com/SenticNet/personality-detection综述这篇文章讲的是基于深度学习， 通过提取文本特征，得到一个人的五大性格的倾向（是/否）。 具体来说：使用CNN（卷积神经网络）对文本进行性格特征的抽取，并且在得到文档语义特征之后 将其和文档格式特征组合起来变成总特征， 然后对其进行二分类，得到结果。方法综述我们的步骤包括输入信息...

摘要这篇文章说他们认为文本的结果也是一个包含人物性格的重要特征，所以他们使用了一个名叫2CLSTM的模型，由一个双向的LSTM（Long Short Term Memory networks）和一个CNN（卷积神经网络）组成，用于侦测人物性格。同时提出**Latent Sentence Group(LSG)**这个概念来表示一组在某些方面连接很紧密的句向量。最后用这个LSG来分类得到5大性格的t...

文章目录一、摘要二、模型过程1.文本预处理1.1 文本切分1.2 文本统一2. 基于统计的特征提取2.1 提取特殊的语言统计特征2.2 提取基于字典的语言特征3. 基于深度学习的文本建模3.1 基于无监督学习的词嵌入3.2 基于监督学习的深度语义特征提取3.2.1 AttRCNN进行句子向量化S1. Word EmbeddingS2. 基于GRU的神经网络得到word上下文特征S2-1. 提取上文...

abstract近年来，个性的自动预测受到了广泛关注。 具体而言，从多重数据（多模态） 预测人格已成为情感计算领域的热门话题。 在本文中，我们回顾了用于个性检测的重要机器学习模型，重点是基于深度学习的方法。 这篇综述文章概述了最流行的人格检测方法，各种计算数据集，工业应用以及用于人格检测的最新机器学习模型，文章将重点关注多模态。 人格检测是一个非常广泛而多样的主题：本次调查仅关注计算机方法方法，...