Peter的脱发日记

「AAAI2021」Duel-Level Collaborative Transformer for Image Captioning这里简单介绍自己第一篇被接受的一作工作《Duel-Level Collaborative Transformer for Image Captioning》，代码已开源在这里，小伙伴们快来star~Image Captioning和VQA是多模态任务中非常相关的两个Task，自从2018年CVPR《Bottom-up and top-down attention for

动手搭建一个基于GMM-HMM的嵌入式命令词识别系统。，。写在前面尽管如今基于深度学习的语音识别系统在性能上远远超过普通的语音识别系统，但是尝试去编写并理解一个传统语音识别系统也是一个非常有趣的过程。这个项目是我在写语音识别的大作业的时候编写的，因为当时百度了半天发现网上竟然没有地方可以让我ctrl C+ctrl V，于是辛辛苦苦自己用numpy和scipy写了一个，这不是一篇GMM-HMM的科普文章，所以读者需要先了解GMM-HMM的原理。开始首先明确这是一个基于GMM-HMM的嵌入式命令词识别

OS操作系统将CPU抽象成进程，将磁盘抽象成文件，将内存抽象成地址空间并发和并行的区别：并发是一段时间内有多个程序可以运行，并行是一个时间点上有多个程序可以执行...

【Python学习日记】子类化内置类和MRO本文参考自《python高级编程》第二版第三章子类化内置类子类化内置类是简单高效实现内置类相似行为类型的方法，在编写新类之前，都可以考虑一下是否能够子类化内置类，书中给出了一个无法修改已存在键的字典，这里写一个只能有固定键的字典class NoSuchKeyError(ValueError): ...class FixDict(di...

Pytorch结合语言模型理解torch.gathertorch.gather一直是我觉得不太理解的函数，往往在代码里也比较少会碰到，偶尔碰到了，去查一下官方文档，查了也不太看的懂，这里结合语言模型，来解释一下torch.gather的意义，一切还是从官方文档说起文档解释torch.gather(input, dim, index, out=None, sparse_grad=False) ...

我已经一个月没有写博客了!我已经一个月没有写博客了，这段时间有点忙，心态和身体都不太吃得消，有点空子就想偷懒，哎，好累，下个月继续写，加油！...

Ubuntu18.04 CUDA 10.1 安装ncclThe NVIDIA® Collective Communications Library ™ (NCCL) (pronounced “Nickel”) is a library of multi-GPU collective communication primitives that are topology-aware and can ...

第六十五周学习笔记论文阅读caption parsingMattNet代码

第六十四周学习笔记实验结果简单用不同指标训练了几个saliency model结果如图效果都一般,模型仍有很多部分需要确认用我自己的版本(4000+)个fixation结果:结论感觉网络结构没写对,特别是上采样部分,下周任务是对这部分进行修改,换成FCN试试看上周任务完成情况论文阅读Saliency modelSaliency和caption model结合均未完...

第六十三周学习笔记论文阅读概述DEEP GAZE I: BOOSTING SALIENCY PREDICTION WITH FEATURE MAPS TRAINED ON IMAGENET: This article introduces a deep saliency map prediction model which use ImageNet pretrained model to g...

总是attend到某几个位置non visual word的影响很大如果仅仅考虑visual word生成时候的attention会不会更好

第六十周学习笔记9月23日TODObottom-up模型度量9月23日小结未完成，下午开始试图对齐生成的caption数据，结果发现存在很大的问题9月24日TODO要做的事情有点多，心态小崩，咸鱼了一天=_=9月25日TODO鹏城的api写完9月25日小结api完成，在这里9月26日TODO重新建立baseline 检查数据分布...

Image Captioning的自动度量BLEUBLEU是2002年提出的一个自动度量，它本身是一个机器翻译的自动度量方法Approach简单来说BLEU就是一个n-gram precision的度量，它关注的是candidate出现的n-gram是否在reference中出现（即precision），而不关注reference中出现的n-gram，是否在candidate中出现（也就是...

第五十九周学习笔记咦?第五十八周笔记去哪了？9月16日TODOLSTM模型from scratch广义线性模型回顾两篇论文阅读晚上将之前的论文整理到github上

第五十七周学习笔记实验结果实验结果均记录在表格中

第五十六周学习笔记文章阅读图卷积网络Q1，图卷积网络中的拉普拉斯矩阵是什么？A：图卷积中的拉普拉斯是图的度矩阵（对角矩阵）减邻接矩阵Q2，什么是拉普拉斯算子？A：拉普拉斯算子是欧几里得空间中的二阶微分算子，定义为梯度的散度Q3，什么是散度？A：借用物理的角度去理解，假设一个区域中有热量传播，热量传播的方向和速度可以构成一个向量（方向为向量的方向，速度为向量的模长），那么这就是一个向量...

Numpy、Pytorch中的broadcasting写在前面自己一直都不清楚numpy、pytorch里面不同维数的向量之间的element wise的计算究竟是按照什么规则来确认维数匹配和不匹配的情况的，比如>>> b = np.ones((4,5))>>> a = np.arange(5)>>> c = a + b>&g...

第五十五周学习笔记实验结果下周目标完成新的分类网络，caption的baseline以及序列图模型

第五十四周学习笔记实验结果权值可视化

Capsule Net 代码阅读笔记代码参考自这里一个对MNIST分类的capsule net由三层组成，第一层是传统的卷积层，第二层是Primary Capsule层，第三层是Digit Capsule层class CapsNet(nn.Module): def __init__(self, routing_iterations, in_channels=1, n_classes...