![](https://img-blog.csdnimg.cn/20190927151101105.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
论文与代码阅读
文章平均质量分 84
1
Monmoka
这个作者很懒,什么都没留下…
展开
-
Charades网络架构部分代码阅读
1 torch.arange(0, seg_masks.size(1)).type_as(seg_masks).unsqueeze(0).long()torch.arange(0, seg_masks.size(1))为表示position,创建0-127的tensortype_as 将其变成参数的tensor类型.unsqueeze(0) 在第一维添加一个维度.long() 转化为longtensor形式2 tensor.expand(B, nseg, -1)(100,1,512).ex原创 2024-03-06 16:28:20 · 366 阅读 · 0 评论 -
论文阅读(三):Text2Sign: Towards Sign Language Production using Neural Machine Translation and GAN
Abstract概述:我们提出了一种新的方法来自动手语生产(SLP)利用最近的发展神经机器翻译(NMT),生成对抗性网络(GANs)和运动生成。我们的系统能够从口语句子中生成手语视频。与当前依赖于大量注释数据的方法相反,我们的方法需要最少的注释和框架级别的注释来进行培训,我们通过将任务分解为专门的子流程来实现这一点。方法:我们首先将一个NMT网络和一个运动图(MG)结合起来,将口语句子翻译成手...原创 2019-10-24 15:04:33 · 2724 阅读 · 3 评论 -
论文阅读:Local-Global Video-Text Interactions for Temporal Grounding
对于时间定位的局部-全局的视频-文字交互Abstract摘要本文针对文本到视频的时间grouding问题,旨在识别与文本查询语义相关的视频时间间隔。我们使用一种新的基于回归的模型来解决这个问题,该模型学习为文本查询中的语义短语提取一组中级特征,这些特征对应于查询中描述的重要语义实体(参与者、对象和动作等),并且从多个层次反映查询的语言特征和视频的视觉特征之间的双模态交互。该方法在双模态交互中,利用从局部到全局的上下文信息,有效的预测了目标时间间隔。通过深度的消融研究,我们发现,在视频和文本交互中结合原创 2021-02-15 19:17:09 · 2618 阅读 · 3 评论 -
论文阅读(三):Text2Sign: Towards Sign Language Production using Neural Machine Translation and GAN-2
Abstract我们提出了一种新的方法来自动手语生产使用最先进的神经机器翻译(NMT)和图像生成技术。我们的系统能够从口语句子中生成手语视频。与当前依赖于大量注释数据的方法相反,我们的方法需要最少的注释和框架级别的注释来进行培训。我们通过将任务分解为专门的子流程来实现这一点我们首先利用编译码器网络将口语句子翻译成符号注释序列。然后找到注释和骨骼序列之间的数据映射。我们使用生成的姿态信息来调节生...原创 2019-11-04 12:25:52 · 738 阅读 · 1 评论 -
An optimal design of multi-protocol label switching networks achieving reliability requirements
实现可靠性要求的多协议标号交换网络优化设计A B S T R A C T多协议标签交换(MPLS)网络以其较高的服务质量(QoS)在骨干网中得到了广泛的应用。MPLS网络的可靠性是非常重要的。在本文中,我们考虑MPLS网络的最优设计,在可靠性约束下,工作路径和备份路径的最优选择使网络的构造成本最小化。由于网络的构造代价和网络的可靠性都与所选路径的长度有关,因此网络优化设计问题被解耦为两个子问题:费用相关问题和可靠性相关问题,其中费用相关问题已由Sohn等人解决。考虑到可靠性相关问题,提出了一种可靠性原创 2020-09-18 22:48:43 · 184 阅读 · 0 评论 -
论文阅读(二):Decomposing Motion and Content for Video Generation
Abstract视频中的视觉信号可以分成内容和动作两部分内容->视频中有什么动作->描述运动分解内容和运动的视频生成:将随机向量序列映射成视频序列每个随机向量包括内容部分和动作部分,当内容部分确定后,动作部分被认为是一个随机过程为了以无监督的方式学习运动和内容分解,我们提出了一种新的基于图像和视频鉴别器的对抗性学习方案。Introduction深生成模型最近受到越来越多...原创 2019-09-19 22:37:10 · 1753 阅读 · 0 评论 -
论文阅读(一):Hierarchical LSTM for Sign Language Translation
AbstractSLT (Sign Language Translation) 手语翻译CTC (Connectionist temporal classification) 连接主义时间分类linguistics /lɪŋ’gwɪstɪks/ n. 语言学sequential gesture variation 连续的手势变化解决的问题连续手语翻译中->帧级和word级...原创 2019-08-08 22:22:47 · 8161 阅读 · 4 评论 -
代码阅读:trainers.py
1.np.nonzero()返回非零值的索引返回一个包含两个数组的二维元组,分别从行和列上描述非零值a = [0,2,3]b = np.nonzero(a)print(b)>>>(array([1,2],dtype=int64),)a = [[0,2,3],[1,0,4]]b = np.nonzero(a)print(b)>>>(array(...原创 2019-11-15 19:55:39 · 221 阅读 · 0 评论 -
代码阅读:models.py
1.对于图片(NxCxHxW)的2D卷积与反卷积原创 2019-11-15 19:55:27 · 281 阅读 · 0 评论 -
transforms、ImageFolder读取图片数据
1.transforms用法from torchvision import transformstransform = transforms.Compose([transforms.Resize((224,224)), transforms.ToTensor(), ...原创 2019-10-12 21:56:52 · 1781 阅读 · 0 评论 -
cv2、plt 、PIL显示图像
opencv库/cv2img = cv2.imread(img_path) #读入一张图片,返回一个(H,W,C)的ndarraycv2.imshow(name,img) #显示一张图片cv2.waitKey() #必须加上,不然图片无法显示cv2.destroyAllWindows() #执行键盘动作后关闭窗口1.cv2.imread()返回一个ndarray补充 :ndarra...原创 2019-10-12 17:06:08 · 2306 阅读 · 0 评论 -
代码阅读(一)—generate video
1.docopt 中 version参数在usage中可能定义了不止一种形式在原始代码中,定义了6种形式,在执行函数时必须要匹配其中一种,故有时可以见到形如参数version =naval_fate 2.0的设置高亮 最最最坑的问题DocoptLanguageError: “usage:” (case-insensitive) not found.解决:删掉开头的注释即可就是2.s...原创 2019-10-11 19:40:04 · 874 阅读 · 0 评论