自然语言处理
文章平均质量分 87
B站:阿里武
中山大学 数据科学与计算机学院 专业硕士
展开
-
【手把手】如何使用置信学习cleanlab对数据集进行去噪
前言在做一个项目的时候,发现数据集噪声非常多,项目是是一个文本分类问题, 但是数据集中经常出现 label 错误的情况, 也就是所谓的label noise问题,在这样的数据集对模型进行训练效果非常差。关于label noise感兴趣可以看 Noisy Label 20 篇论文纵览 ,也是一个研究的热门方向,且对于工业界意义很大。笔者在经过一些相关的调研之后, 从实现难度,教程数量, 原理理解这些方面角度,最终选取置信学习这种方式对数据集合进行去噪置信学习相关介绍那什么是置信学习呢?这个概念来自一原创 2021-09-08 10:51:02 · 7978 阅读 · 21 评论 -
Multi-modal Multi-label Emotion Detection with Modality and Label Dependence 阅读笔记
背景这篇文章讲的是多标签的情感分析, 这篇文章是考虑多模态的情感分析, 因为是多标签 所以需要考虑不同标签的依赖性,以及每个标签对不同模态的依赖性任务的具体例子是:给定一个视频,包括三个模态信息 (视觉, 文本, 声音)然后给出情感倾向(可以是多个)文章指出 多标签分类比单标签分类要更加难, 以主要挑战是如何去对标签之间的依赖性进行建模, 正如上图所说, 一个Sad 很有可能 和Disgust 是同时出现的, 但是有很小可能会出现 happy 和 sad。论文内容特征初步提取Text :原创 2020-12-30 21:38:39 · 1347 阅读 · 0 评论 -
Multistage Fusion with Forget Gate for Multimodal Summarization in Open-Domain Videos 阅读笔记
介绍这篇文章是 对一个长视频 得到一个摘要, 是属于多模态的论文.模型结构模型总体结构如图, 还是非常易懂的 经典双线程, 其中两个模态有交叉(信息交换)的地方,模型总体还算简单特征初步提取videoResNeXt-101 3D convolutional neural network 提取视频的16帧 , 然后 加入一个位置嵌入position embeddingstext使用两种方式每个单词 使用 biGRU得到单词 embedding每个单词 使用 bTrans原创 2020-12-29 23:23:14 · 674 阅读 · 0 评论 -
A Deep Learning Model for Estimating Story Points 阅读笔记
A Deep Learning Model for Estimating Story Points 阅读笔记背景与动机工作量估算是软件项目管理的重要组成部分,特别是对于计划和监视软件项目。 成本和进度超支一直是软件项目中的常见风险。 麦肯锡大学和牛津大学对5400个大型IT项目进行了研究,发现大型软件项目平均超出预算66%,加班33%。 对1,471个软件项目的另一项研究[2]显示了相似的发现:六个软件项目中有一个预算超支了200%,进度超支了近70%。 涉及工作量估算的活动是规划和管理软件项目的关键原创 2020-12-29 00:03:21 · 439 阅读 · 0 评论 -
多模态情感分类 论文阅读笔记 Integrating Multimodal Information in Large Pretrained Transformers
作者创造了一个组件MAG, 用于使BERT 或者 XLNet这种 预训练的模型能对 多模态的信息进行 Fine-tune组件的结构如下:MAG的主要思想在于:非语言模态(其它两个模态)会影响词汇的意义,进而影响向量在语义空间中的位置, 所以非语言和语言共同决定了向量在语义空间中的新位置。 在此图中Zi 表示 只受文本模态影响的位置, 我们通过引入 audio, visual 两个模态的信息得到一个偏移量Hi, 然后计算得到新位置其中MAG的结构 由 AAAI2019 Words can s原创 2020-09-26 11:11:56 · 1485 阅读 · 0 评论 -
阅读笔记 多模态情感分析 Low Rank Fusion based Transformers for Multimodal Sequences
这一篇是讲 多模态情感分类的。模型结构Low Rank Fusion借用了 ACL2018 Efficient Low-rank Multimodal Fusion with Modality-Specific Factors论文中的Low Rank FusionACL2018的模型如下原创 2020-09-25 22:06:45 · 2120 阅读 · 2 评论 -
多模态个性分析论文阅读笔记Investigating Audio,Video,and Text Fusion Methods for End-to-End Automatic Personality
1. 总揽提出了一个三模态的模型结构用于从视频片段中预测大五性格不同模态使用CNN, 三个模态提取出的特征使用 FC(全连接层)进行融合,特征提取, 得到最终结果。结果显示, 相较于使用单模态, 准确率提升9.4%,证明多个模态之间的相互作用可以进一步的得到更好的模型每个模态提取的特征和每个个性特点之前有关联性2. 介绍人类对于判断一个人的性格,往往不是通过单一方面的考虑, 例如单看行为, 或者单听声音。而是各个方面的综合考虑。因此对于预测个性也应该多个地方考量, 也就是多模态问题。原创 2020-06-02 11:01:55 · 991 阅读 · 0 评论 -
解释BERT为什么是双向表示
之前也没有仔细思考这个问题, 近几天重新看了一遍BERT模型,发现之前的理解确实有问题,所以过来填坑。在说明BERT的双向表示前,先回顾一下常见的双向表示网络结构的双向首先区别于biLSTM那种双向, 那种是在网络结构上的双层例如 biLSTM来进行一个单词的双向上下文表示可以看到, 这种在网络结构上, 每个单词都从正向和反向都得到一个表示, 然后将此表示进行连接, 则此时认为这就是单词的双向表示在没有深思之前,我也一直以为BERT是使用上面的模式,而当我看到BERT的结构是这样的,说明我之前原创 2020-05-16 23:46:28 · 9845 阅读 · 10 评论 -
论文浅尝 | SenticNet 5: 借助上下文嵌入信息为情感分析发现概念级别的原语
转载地址https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/80161731Citation: Cambria E, Poria S, Hazarika D, et al.SenticNet 5: discovering conceptual primitives for sentiment analysis by mea...转载 2020-03-12 20:46:02 · 1010 阅读 · 0 评论 -
基于深度学习的性格探测综述 阅读笔记
abstract近年来,个性的自动预测受到了广泛关注。 具体而言,从多重数据(多模态) 预测人格已成为情感计算领域的热门话题。 在本文中,我们回顾了用于个性检测的重要机器学习模型,重点是基于深度学习的方法。 这篇综述文章概述了最流行的人格检测方法,各种计算数据集,工业应用以及用于人格检测的最新机器学习模型,文章将重点关注多模态。 人格检测是一个非常广泛而多样的主题:本次调查仅关注计算机方法方法,...原创 2020-03-09 22:15:47 · 5517 阅读 · 4 评论 -
使用pytorchviz进行模型可视化出现 NoneType object has no attribute grad_fn
问题最近学习pytorch, 原来用kreas重现的模型改为用pytorch实现训练,因为这样给模型的操作更加细致, 对模型的掌控更好。当我写好一个模型 出现了这个问题使用pytorchviz进行模型可视化出现r如下错误raceback (most recent call last): File "/home/jiwu/Documents/AttRCNN-CNNs/pyt_train....原创 2020-02-27 00:02:38 · 2239 阅读 · 5 评论 -
使用BERT进行情感分类预测及代码实例
1. BERT配置1.1. clone BERT 代码1.2. 数据处理2. 修改代码因为这次是分类问题, 所以我们需要修改run_classify.py2.1 加入新的任务类因为我们是做一个分类的任务, 但是2.2 任务类注册3. 运行代码运行代码需要提供参数, 这里我建议直接在pycharm编译器里加参数, 而不用按照官方教材 run xxx.sh4. 运行问题...原创 2019-05-17 01:46:31 · 25720 阅读 · 75 评论 -
NeuralCoref: python的共指消解工具教程
转载地址https://blog.csdn.net/blmoistawinde/article/details/81782971 版权声明:本文为博主原创文章,欢迎转载但请声明来源。 https://blog.csdn.net/blmoistawinde/article/details/81782971 </div>共指消解 ...转载 2019-04-11 23:15:47 · 1642 阅读 · 0 评论 -
NLTK库WordNet的使用方法实例
转载地址https://blog.csdn.net/King_John/article/details/80252594那个,网上的不少相关内容的整理真的是难懂,而且不少错误,稍稍整理一下。 注:真是百度5小时,谷歌5分钟……整理了这么多中文资料,都缺的厉害,然后谷歌了一下,就发现了一个很不错的材料,后面也整理一下。python版本:Python 3.6.4 (v3.6.4:d4...原创 2019-04-11 22:40:03 · 2775 阅读 · 0 评论