岳额不到五-CSDN博客

Contributions:提出一种多模态人物聚类方法，使用face、body、voice提出Video Person Clustering(VPC)数据集。在原有数据集的基础上（face），增加body、voice标注。视频均来自电影和电视剧Methods：三步聚类法注：数据集、代码可下载......

2022-05-24 10:59:08 149

原创 Movies2Scenes: Learning Scene Representations Using Movie Similarities

《2022-arxiv- Movies2Scenes: Learning Scene Representations Using Movie Similarities》步骤从genre/synopsis/more-like-this information中选出类别相同的电影，然后从相似的电影的找出前50%相似的scene作为positive samples将每k帧的frame划分patch，加上position embedding输入到transformer-based的网络中抽取特征，用公式（

2022-05-22 21:26:16 216

原创 2019-iccv-A Graph-Based Framework to Bridge Movies and Synopses

论文阅读：直接看这篇注1：论文已经公开代码注2：数据集因为版权原因没有公开，只公开了特征

2022-05-21 21:49:56 74

原创 python递归

这篇讲的不错，可以通过digui函数了解递归的处理流程。1.1 为了更直观的理解，可以用如下函数查看递归流程def digui(n): print('内层', n) if n > 0: digui(n - 1) print('外层', n)digui(5)递归的栈帧：添加链接描述3...

2022-04-28 11:35:23 717

原创文档级关系抽取论文阅读

1. 《2021-IJCAI-Document-level Relation Extraction as Semantic Segmentation》论文阅读：添加链接描述研究动机：先前的基于graph或基于transformer的模型仅单独地使用实体对，而未考虑关系三元组之间的全局信息。本文创新性地提出DocuNet模型，首次将文档级关系抽取任务类比于计算机视觉中的语义分割任务。DocuNet模型利用编码器模块捕获实体的上下文信息，并采用U-shaped分割模块在image-style特征图上捕获三

2022-03-23 21:57:56 680

原创电影/video summarization

1.《2021-aaai-Movie Summarization via Sparse Graph Construction》主要思想：利用电影的转折点，进行电影内容总结步骤：电影的每个scene代表图中的一个节点。首先构建全连接图，然后根据scene之间的相似性（公式1和公式3）（text相似性和audiovisual相似性，公式2），为每个节点动态挑选k个邻居节点。将所有节点通过一层GCN蒸馏学习。利用唯一有转折点标记的数据集TRIPOD，先获得一个概率分布q(yt|D)，在用两个loss

2022-03-16 11:23:16 461

原创多模态global-local文章调研

多模态global-local文章调研1. 《T2VLAD: Global-Local Sequence Alignment for Text-Video Retrieval》这篇文章讲的比较全面：添加链接描述1.1 全局特征：max pooling+self-Gating1.2 局部特征：全连接+一层Transformer2. 《Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning》论文讲解：添加链接描述2

2022-03-14 17:15:33 4548

原创理解vilbert

输入bert的word embedding可以通过torch.nn.Embedding提取链接: torch.nn.Embeddingtransformer的：链接: link.I. One-Hot EncodingII. Word EmbeddingIII. Position Embedding从transformer到bert链接: link.

2022-02-28 12:32:33 158

原创牛客网——链表

链表1. JZ6 从尾到头打印链表# class ListNode:# def __init__(self, x):# self.val = x# self.next = None## 代码中的类名、方法名、参数名已经指定，请勿修改，直接返回方法规定的值即可## # @param listNode ListNode类 # @return int整型一维数组#class Solution: def printListFromTailTo

2022-01-12 21:26:59 157

原创 BatchNorm、L2Norm、LayerNorm

归一化（Batch Normalization）: 对每一批数据进行归一化L2 正则化（L2 regularization or L2 norm）:强制让模型权重只能取较小的值, cong er避免过拟合

2021-07-17 10:44:04 663

原创多模态、跨模态融合、检索、匹配

如何做好BERT多模态任务基于BERT的多模态应用：图像，视频如何通过BERT处理: linkBERT跨模态预训练: link.AAAI 2021 | 多模态最新进展解读: link.

2021-07-13 15:26:17 2601

原创《Unsupervised Video Summarization with Attentive Conditional Generative Adversarial Networks》与生成对抗学习

生成对抗学习概念应用

2021-06-02 16:35:37 254

原创如何将多模态特征载入模型

《Learning a Text-Video Embedding fromIncomplete and Heterogeneous Data》所有数据存成.npy，然后np.load(.npy)： class LSMDC(Dataset): def __init__(self, clip_path, text_features, audio_features, flow_path, face_path, **): self.visual_features = .

2021-06-02 16:30:52 733

原创多模态情感分析

多模态分析数据集（Multimodal Dataset）不只情感分析《Multi-task Learning for Multi-modal Emotion Recognition and Sentiment Analysis》阅读笔记

2021-05-12 09:00:14 2262

原创《Heterogeneous Memory Enhanced Multimodal Attention Model for Video Question Answering》

知识点记忆网络 Memory Networks阅读笔记笔记1笔记2

2021-05-11 10:14:41 61

原创多模态自监督论文

多模态情感分析多个任务，一个多模态任务和三个单模态任务。多模态任务监督学习，单模态任务自监督学习主要创新点：前两条都是针对单模态学习任务的。大模型可能是参考文献Yu et al. (2020a), 参考的文章也是一个多模态和多个单模态组成的多任务学习模型，但都是监督学习。提供了代码...

2021-05-08 15:31:40 1169

原创《FL-MSRE: A Few-Shot Learning based Approach to Multimodal Social RelationExtraction》

先了解few-shot learning: 理解1，理解2数据集构建因为为图片数据集补充文本很困难，因此考虑为文本数据集补充图片。句子：提取至少提到两个人的句子，并至少两个人支持图片：提取至少包含两个人的image只保留细粒度的关系。如family（no），father（yes）最后将数据集分为三部分：DRC-TF（15 rels），OM-TF（9 rels），FC-TF（24 rels）。Every social relation is supported by multiple tri

2021-04-19 11:08:33 755

原创自监督学习 Self-Supervised Learning

概念1. 入门，这一篇讲的很详细2.1 简单明了，通俗易懂2.2. 自监督学习性能概述，对当前自监督学习的效果有一个大概的认识2.3. 自监督学习的经典文章 Unsupervised Visual Representation Learning by Context Prediction...

2021-04-16 10:23:08 432

原创《I Know the Relationships: Zero-Shot Action Recognition viaTwo-Stream GCN and Knowledge Graphs》知识点

中文讲解.1. 基本概念：1.1 Fisher Vector (FV)1.2 Bag-of-words (BoW)1.3 inductive learning 与 transductive learning1.4 为什么要做word embedding1.4.1 论文中用到的word embedding方法源自：《Spatial-Aware Object Embeddings for Zero-Shot Localizationand Classification of Actions》：1.

2021-04-16 10:14:48 278

原创 Latex如何将长表格Table横置(旋转90度)

Latex表格旋转90°\usepackage[figuresright]{rotating}\begin{sidewaystable}[thp]\end{sidewaystable}参考https://blog.csdn.net/haifeng_gu/article/details/108563975

2021-02-28 15:51:43 3949

原创 latex的一些使用方法

latex一些使用方法长公式换行由变为将源码由R_{i,j} = \left { x_{i,j}{k_{1}},x_{i,j}{k_{2}},…x_{x,j}^{k_N}\mid k_1,k_2,…,k_N \in\left { 1,2,…,K \right } \right }修改为R_{i,j} = \left { x_{i,j}{k_{1}},x_{i,j}{k_{2}},…x_{x,j}^{k_N}\mid k_1,\right.\\left. k_2,…,k_N \in\lef

2021-02-15 10:51:19 504

原创 pytorch赋值、深拷贝、浅拷贝，clone、detach

直接赋值、浅拷贝和深度拷贝解析https://blog.csdn.net/weixin_30851409/article/details/95969347in-place操作https://blog.csdn.net/goodxin_ie/article/details/89577224叶子节点https://zhuanlan.zhihu.com/p/85506092clone(),detach(),new_tensor(),copy_()https://www.codenong

2021-01-22 11:28:54 1273

原创 pytorch numpy 返回张量中k个最大值

返回矩阵张量中前k个最（大）值pytorch：topk，同时返回索引和值。参考：https://blog.csdn.net/qq_34914551/article/details/103738160numpy：没有直接获取前k个最值的函数。而是先全部排序，再索引前k个。参考：https://blog.csdn.net/dlhlSC/article/details/88072268https://blog.csdn.net/SoftPoeter/article/details/86629329

2021-01-12 01:11:05 2601

原创 torch.nn.Linear()的维度

W是个二维矩阵，b是一维的。参考：https://blog.csdn.net/m0_37586991/article/details/87861418

2020-12-23 18:58:02 2533

原创 pytorch 连续矩阵变形转置 view reshape permute transpose continuous

可以参考这篇文章，讲矩阵变形以及连续的问题(view reshape permute continuous)https://blog.csdn.net/u014386899/article/details/107613032permute()增加一个代码中用到的permute用法import torcha = torch.randint(0, 10, (3, 2, 2, 5))b = a.permute(0, 3, 1, 2).contiguous().reshape(15, 4)prin

2020-12-22 09:19:43 709 1

原创 numpy.argmax(axis)

numpy.argmax(axis)一维import numpy as npa = np.array([3, 1, 2, 4, 6, 1])b = np.argmax(a)print(b)print(b.shape)print(type(b))输出4()<class 'numpy.int64'>二维axis=0import numpy as npa = np.array([[1, 5, 5, 2], [9, 6, 2, 8],

2020-12-07 21:11:38 444

原创 torch.nonzero一维、二维、三维

torch.nonzero一维import torchinput = torch.randint(15, 17, (6, 2))rels_mask = torch.nonzero(input[:, 0] - 15)print(input)print(input[:, 0].shape)print('----------------------')print(rels_mask)print(rels_mask.shape)输出tensor([[15, 15], [16,

2020-12-07 17:42:19 557

原创 torch.utils.data.DataLoader(batch_size)形成矩阵的维度

torch.utils.data.DataLoader(batch_size) 形成矩阵的维度此处主要关注一维import torchfrom torch.utils.data import Datasetimport numpy as npclass myDataset(Dataset): def __init__(self): self.x = np.arange(10) self.y = np.arange(10) def __len__(

2020-12-07 16:53:34 3334

原创 torch.max()

torch.max(input, dim)二维参考https://zhuanlan.zhihu.com/p/89465622三维，dim=0import torcha = torch.randn(2, 3, 4)print(a)print(torch.max(a, 0))输出tensor([[[-0.2505, 0.1110, 0.9535, 0.0255], [-0.5391, 0.2905, 0.2985, -0.5351], [-

2020-12-07 09:47:26 188

原创 torch.nn.Softmax(dim) 参数

torch.nn.Softmax(dim) 参数先上代码import torch.nn as nnimport torchm = nn.Softmax(dim=0)n = nn.Softmax(dim=1)k = nn.Softmax(dim=2)v = nn.Softmax(dim=3)input = torch.randn(2, 2, 2, 3)print(input)print('dim = 0: ', m(input))print('dim = 1: ', n(input))

2020-12-03 13:36:47 1184

原创 tensor和numpy的花式索引

pytorch tensor矩阵索引矩阵矩阵索引矩阵在这里插入代码片import torch as tneg_mask_ints = t.arange(36).view(3, 3, 4)target = t.randint(0, 4, (3,))print('target: ', target)print(neg_mask_ints)print(neg_mask_ints[:, :, target])输出target: tensor([1, 0, 2])tensor([[[ 0,

2020-11-30 22:35:30 853

空空如也

空空如也