论文阅读
文章平均质量分 67
binqiang2wang
这个作者很懒,什么都没留下…
展开
-
4DME: A spontaneous 4D micro-expression dataset with multimodalities
4DME: A spontaneous 4D micro-expression dataset with multimodalities摘要微表情(ME)是一种特殊的面部表情形式,当人们出于某些原因试图隐藏自己的真实情感时,可能会出现这种表情。微电影是揭示人们真实情感的重要线索,但普通人很难或不可能用肉眼捕捉到,因为它们非常简短和微妙。预计可以开发鲁棒的计算机视觉方法来自动分析需要大量ME数据的ME。目前的ME数据集不足,并且大多只包含一种2D彩色视频。对普通面部表情的4D数据的研究已经蓬勃发展,但到目原创 2023-01-02 10:31:11 · 1389 阅读 · 1 评论 -
How to Evaluate Single-Round Dialogues LikeHumans An Information-Oriented Metric
其他度量,例如distinct-N[6],试图计算响应中不同的unigram和bigram的数量,但无法测量对话响应生成系统是否能够生成高质量、知识相关和信息丰富的对话。与具有监督标签(如任务完成[2]、[3])的面向任务的聊天机器人的情况不同,这种非面向任务的对话响应生成系统的自动评估是该领域的一个重要且开放的问题。不幸的是,现有的自动评估方法有失偏颇,与人类对反应质量的判断相关性很差。但是,尽管基于深度学习的技术等各种技术推动了聊天机器人的进步[16],对话生成的自动评估仍然是一个开放的问题[14]。原创 2023-01-01 10:38:51 · 394 阅读 · 0 评论 -
JÂA-Net Joint Facial Action Unit Detection and Face Alignment Via Adaptive Attention
广泛的实验表明,我们的框架(i)在具有挑战性的BP4D、DISFA、GFT和BP4D+基准上显著优于最先进的AU检测方法,(ii)可以自适应地捕捉每个AU的不规则区域,(iii)在面部对齐方面实现了竞争性的性能,并且(iv)在部分遮挡和非正面姿态下也很好地工作。然而,在文献中,很少看到这两项任务的联合研究。–我们在基准上进行了广泛的实验,其中我们提出的联合框架显著优于最先进的AU检测方法,可以自适应地捕捉每个AU的不规则区域,在面部对齐方面实现了竞争性性能,并且在部分遮挡和非正面姿态下也能很好地工作。原创 2022-12-31 14:52:46 · 767 阅读 · 2 评论 -
Fully memristive neural networks for pattern classification with unsupervised learning(硬翻译)
摘要由人工神经元和突触组成的神经形态计算机可以提供比传统硬件更有效的实现神经网络算法的方法。最近,基于忆阻器的人工神经元已经被开发出来,但其生物现实动力学有限,并且没有与集成网络中的人工突触直接交互。在这里,我们证明了基于介电薄膜中的银纳米颗粒的扩散忆阻器可以用来创建具有随机漏积分和点火动力学以及可调积分时间的人工神经元,这取决于银的迁移或其与电路电容的相互作用。我们将这些神经元与非易失性记忆突触结合起来,构建完全记忆的人工神经网络。利用这些集成网络,我们在实验上演示了无监督的突触权重更新和模式分类引言原创 2022-04-11 20:35:29 · 1190 阅读 · 0 评论 -
Words Can Shift 代码阅读
git代码链接整体结构很好看,对与单词的表达进行改变,改变的动机是想要利用其他模态的信息,非常合理。在中间的模块,首先做了对声音特征和视觉特征的权重计算,也就是计算了一个gate的门值:门值计算之后就开始加权,直接得到将要去shift的向量h_m:以上论文描述对应的代码都很清晰: wordFlat = words.data.contiguous().view(-1, gc.wordDim) covarepWeight = self.covarepW(torch.原创 2022-03-30 20:45:58 · 508 阅读 · 0 评论 -
实验总结图片摘抄
论文总结分析怎么写?学习模板原创 2021-12-28 11:24:33 · 436 阅读 · 0 评论 -
office表格中图表导出pdf
很少用office表格来作图,临时做了一个图,想要保存为pdf,发现右键不能直接另存为图片。原来有个功能叫:移动图表移动图标之后可以选择新工作表然后就可以适用整个office自带的文件下的另存为pdf格式一个之前自己没用过的小功能,特此记录。如何在Excel中将图表导出/保存为PDF文件?...转载 2021-11-30 17:03:10 · 461 阅读 · 0 评论 -
CVPR2020 百度网盘
链接:https://pan.baidu.com/s/117OSNcbfQWVQIpf4d2K5Fw提取码:uo8w自己网络上学习爬虫爬的,可能有遗漏,是少数爬虫地址相关资料:爬虫卡死问题 带图片保存的urlretrieve 和urlopen原创 2020-06-15 11:03:40 · 678 阅读 · 0 评论 -
Normalized and Geometry-Aware Self-Attention Network for Image Captioning
重点在自注意力机制的image captioning方法上。现有的Self-Attention方法作者认为存在两个问题:一个是:Internal Covariate Shift我的理解就是输入分布不一样解决办法就是Normalization。原来的Transformer当中也是有Normalization的,但是作者认为原来的做法不够好:翻译过来,就是要把norm放到自注意力模块里面另一个问题是:几何关系信息的缺失在自然语言里面,可以直接使用代表位置的数字来做,但是二维就比较复杂了。原创 2020-06-10 09:50:13 · 1067 阅读 · 1 评论 -
Say As You Wish: Fine-grained Control of Image Caption Generation with Abstract Scene Graphs
摘要中的重点就是user intentions。在一般的生成过程中,都是不可控的。描述哪部分内容?描述精细到什么程度?.之前的caption任务,都是一些和intention无关的任务,不关心user intention。而且,不能生成多样性的caption,生成的都是平平无奇的描述。如何生成多样性的描述,也有一些关注的研究。一般都是控制生成的情感倾向,还可以通过类别标签,region...原创 2020-05-06 09:50:15 · 1708 阅读 · 2 评论 -
Approximated Bilinear Modules for Temporal Modeling
Approximated Bilinear Modules for Temporal Modeling文章来自ICCV2019,做的视频的行为识别。作者说两个问题:1.时间上的线索都是精细颗粒度的。2.序列模型需要推理。对此,作者提出:1.一个近似双线性的操作,并起可以reusing pretrained parameters.(第一次读到这里,其实不明白和精细颗粒度有什么关系,后...原创 2020-01-17 10:19:38 · 532 阅读 · 0 评论 -
Deep Reinforcement Learning for Dialogue Generation
Deep Reinforcement Learning for Dialogue Generation任何好理解,就是生成对话,之前采用最大似然来优化这个问题,会存在以下问题:生成的最后开始变得毫无意义,作者想利用增强学习来缓解这一点。有关为什么用Policy Gradient不用Q-Learning,作者是这样解释的:按照我对两种强化学习的理解,q-learning是最大化q值,a...原创 2020-01-15 21:43:37 · 323 阅读 · 0 评论 -
Generating Text with Deep Reinforcement Learning
Generating Text with Deep Reinforcement Learning要用强化学习生成,更新公式可以由Bellman equation得到。这里文本生成,考虑到long range temporal dependencies和varying lengths,使用了LSTM。首先,是最基础的RNN结构,只有一个输入和隐层,两个权重,一个bias,最后sigmoid输出...原创 2020-01-15 18:42:44 · 595 阅读 · 0 评论 -
Positional encodings
这个概念最早出自论文《Convolutional Sequence to Sequence Learning》因为是用卷积来做,作者为了捕捉时序关系,提出了给不同位置做一个编码,原文中是这样说的:原文当中的说法也就是一个position embedding。具体改怎么操作呢?官方给出的代码里面是有些的,分为两种,一种是可学习的,一种是三角函数的,后来三角函数用的多,这里用三角函数来说明:...原创 2020-01-14 20:49:50 · 956 阅读 · 0 评论 -
MUTAN pytorch
MUTAN: Multimodal Tucker Fusion for Visual Question Answering主要内容还是信息如何融合,图中的解释很洋气,比如MLB,有一个核心,完了之后学习红色和绿色的矩阵,代码就比较简洁了: def forward(self, input_v, input_q): # visual (cnn features) ...原创 2020-01-02 14:53:21 · 419 阅读 · 0 评论 -
Capsule 综述
轻松开始深度的神经网络是模仿视觉的,这里先看一些来自这里的例子: 你以为她在微笑,其实是难过。因为我们习惯了正着看传递的信息,反面的话就回产生错误。 A.B颜色是一样的,因为大脑中进行了阴影部分的增强,导致看着B似乎比A更偏白一些。 我们人脑会自动补充一个空白的三角形,而实际上这里是不存在的。 接下来是一个牛逼的例子,Hinton给出两个相同的积木,可以拼成一个四面体,但是转载 2018-02-02 19:56:54 · 732 阅读 · 1 评论 -
2017CVPRSelf-Supervised Learning of Visual Features Through Embedding Images Into Text Topic Spaces
这个工作的背景是无监督学习,也就是现存的网络上有大量数据,如何在不使用人工进行标记的情况下来进行特征提取的学习,是一个未来很有前景的方向,比如网络上无论是社交网站还是wiki百科,都有大量图文并茂的资源,作者的意思就是利用这些”文“来指导“图”的特征提取,不是一般意义上的无监督学习。作者利用自己训练的网络当作特征提取器在分类,目标检测和图文互检索的任务上进行测试,有大量试验,但作者的效果并不是相比原创 2018-01-19 10:11:03 · 582 阅读 · 0 评论 -
image caption generation系列博文整理
这里只是简单整理一下image caption generation相关资料的出处,首先整理出自己在知乎上相关问题的回答: 现在的计算机视觉:图像字幕(image caption)领域发展到什么程度了呢? 个人觉得刚起步没多久,当然,也可能是本人知识水平有限。从我浅薄的认识来看,image caption的问题从传统的分类问题一脉相承过来的,简单的二分类任务,之后有了多分类任务,在这个基础上,...原创 2018-03-26 16:20:58 · 4754 阅读 · 0 评论 -
Diverse and Accurate Image Description Using a Variational Auto-Encoder
来自NIPS2017的论文。研究内容视觉Captioning问题:图片生成Caption主要工作Additive Gaussian VAE关键思想利用VAE学习数据分类的分布网络框架原创 2018-06-07 10:33:40 · 519 阅读 · 0 评论 -
cvpr 2018 image caption generation论文导读(含workshop)
搜索链接(基本的知识搜索能力我觉得还是必要学习的,拒绝伸手党。)Image Caption Generation with Hierarchical Contextual Visual Spatial Attention这个是workshop研讨的一篇论文,虽然没有中正刊,但是工作量的确是有的。 主要是提出一种基于上下文的注意力机制的网络。使用了双向的网格LSTM,用特征图作为输入,然后...原创 2018-07-06 22:47:45 · 7172 阅读 · 2 评论 -
通过划分来解析表达:多模态感知数据的表示学习框架
通过划分来解析表达:多模态感知数据的表示学习框架W.Hsu, and J. Glass, “Disentangling by Partitioning: A Representation Learning Framework for Multimodal Sensory Data,” arXiv preprint arXiv:1805.11264.摘要:多模态感知数据是一种类似于人类感知学习的...原创 2018-10-27 16:32:24 · 8343 阅读 · 0 评论 -
关于图像描述任务中潜在状态形式的重新思考
英文论文信息B. Dai, D. Ye, and D. Lin, “Rethinking the Form of Latent States in Image Captioning,” in proceedings of European Conference on Computer Vision, 2018.摘要:RNN及其变体已被广泛用于图像描述。在RNN中,描述的产生是由一个潜在状态的序...原创 2018-12-21 09:23:49 · 1218 阅读 · 0 评论 -
eccv 2018 image caption generation论文导读
全部论文下载连接:链接:https://pan.baidu.com/s/1Di0K1jN7FMVFGsKIAF_ltg提取码:ifjj复制这段内容后打开百度网盘手机App,操作更方便哦“Factual” or “Emotional”: Stylized Image Captioning with Adaptive Learning and Attention来自University of ...原创 2019-01-02 16:09:11 · 1272 阅读 · 0 评论 -
nips 208 visual question answering 导读
Overcoming Language Priors in Visual QuestionAnswering with Adversarial RegularizationModern Visual Question Answering (VQA) models have been shown to relyheavily on superficial correlations betwee...原创 2019-02-26 21:01:09 · 613 阅读 · 0 评论 -
cvpr 2019 image caption
2019cvpr image captioning的论文总共16篇左右,其中主要包括三个方向:第一:就是评价指标;第二:就是提出新任务,一般都附带一个新的数据库;第三:就是发现原先captioning当中的的问题,提出一定的解决方案。通过整体阅读,会发现,最后一种当中精度提升都一般,只要选择合适的比较算法,然后讲好自己的故事,就是很优秀的work。下面,我们来简单整体看一下相关论文。第一类...原创 2019-06-30 15:42:03 · 6084 阅读 · 6 评论 -
2017_ ICCV_Towards Diverse and Natural Image Descriptions via a Conditional GAN - 翻译
利用条件对抗网络生成多样性和自然的图像描述摘要图像描述工作虽然在近些年取得了非常丰富的发展,但是这个工作并不完美。目前基于RNN产生的句子,都非常死板,缺乏多边性。这个问题是因为广泛使用的原则就是在训练样本上进行似然最大。这个原则使得产生的句子和真实的句子最为接近,可是却抑制了其他合理的描述。传统的评价方法,BLEU,METEOR都是为这些限制性较大的方法提供服务的。本文中,我们将集中原创 2018-01-16 12:08:13 · 1032 阅读 · 0 评论