- 博客(167)
- 收藏
- 关注
RSS订阅
原创 「AAAI2021」Image Captioning 图像描述生成，性能SoTA！
「AAAI2021」Duel-Level Collaborative Transformer for Image Captioning这里简单介绍自己第一篇被接受的一作工作《Duel-Level Collaborative Transformer for Image Captioning》，代码已开源在这里，小伙伴们快来star~Image Captioning和VQA是多模态任务中非常相关的两个Task，自从2018年CVPR《Bottom-up and top-down attention for
2021-01-30 22:26:08
3608
6
原创 动手搭建一个基于GMM-HMM的嵌入式命令词识别系统
动手搭建一个基于GMM-HMM的嵌入式命令词识别系统。，。写在前面尽管如今基于深度学习的语音识别系统在性能上远远超过普通的语音识别系统，但是尝试去编写并理解一个传统语音识别系统也是一个非常有趣的过程。这个项目是我在写语音识别的大作业的时候编写的，因为当时百度了半天发现网上竟然没有地方可以让我ctrl C+ctrl V，于是辛辛苦苦自己用numpy和scipy写了一个，这不是一篇GMM-HMM的科普文章，所以读者需要先了解GMM-HMM的原理。开始首先明确这是一个基于GMM-HMM的嵌入式命令词识别
2020-05-18 15:25:31
1377
3
原创 Pytorch中的Broadcasting
Numpy、Pytorch中的broadcasting写在前面自己一直都不清楚numpy、pytorch里面不同维数的向量之间的element wise的计算究竟是按照什么规则来确认维数匹配和不匹配的情况的，比如>>> b = np.ones((4,5))>>> a = np.arange(5)>>> c = a + b>&g...
2019-08-27 16:47:26
2537
原创 Manjaro安装
目录Manjaro安装启动盘制作开始安装分区问题配置和软件安装开机卡死的问题解决黄屏切换源[^3]安装pip(可选)安装shadowsocks vim git neofetch安装zshell搜狗输入法[^4]ChromeManjaro安装Manjaro1是一个基于Arch的对用户友好的Linux发行版本，它继承了Arch的快速、效率、滚动更新等特点，同时简化了Arch的安装配置的过程，并且提...
2019-08-13 11:17:38
24046
4
原创 Pytorch参数注册问题和nn.ModuleList nn.ModuleDict
Pytorch参数注册问题和nn.ModuleList nn.ModuleDict参考自官方文档参数注册尝试自己写GoogLeNet时碰到的问题，放在字典中的参数无法自动注册，所谓的注册，就是当参数注册到这个网络上时，它会随着你在外部调用net.cuda()后自动迁移到GPU上，而没有注册的参数则不会随着网络迁到GPU上，这就可能导致输入在GPU上而参数不在GPU上，从而出现错误，为了说明这...
2019-07-30 21:16:08
6993
4
原创 Pytorch自定义参数
Pytorch自定义参数如果想要灵活地使用模型，可能需要自定义参数，比如class Net(nn.Module): def __init__(self): super(Net,self).__init__() self.A = torch.randn((2,3),requires_grad=True) self.B = nn.Linear...
2019-05-22 23:01:22
11255
4
原创 Homography 单应性变换详解
Homography 单适应变换详解综合了一些资料，整理一下关于Homography的理解从2D变换说起了解过2D变换的都知道，2D变换包括2维平面上的平移、旋转、缩放等等，其中旋转和缩放本质上就是线性变换，这一点在线性变换的本质中讲的清清楚楚旋转平面坐标系上的一个形状将其沿坐标轴逆时针旋转30°可得设旋转前某个点的坐标为(x,y)(x,y)(x,y),旋转后其对应点坐标为(x′...
2019-04-26 13:12:52
6169
3
原创 Manjaro-i3的安装
Manjaro-i3安装卡死拼音，fcitx-configtool之前先运行fcitx，否则可能add里没有输入法更改ctrl+enter打开的默认terminal44-Q*5更改默认浏览器
2018-12-09 01:01:08
20290
2
原创 OS
OS操作系统将CPU抽象成进程，将磁盘抽象成文件，将内存抽象成地址空间并发和并行的区别：并发是一段时间内有多个程序可以运行，并行是一个时间点上有多个程序可以执行...
2020-02-13 11:52:02
384
原创 【Python学习日记】子类化内置方法和MRO
【Python学习日记】子类化内置类和MRO本文参考自《python高级编程》第二版第三章子类化内置类子类化内置类是简单高效实现内置类相似行为类型的方法，在编写新类之前，都可以考虑一下是否能够子类化内置类，书中给出了一个无法修改已存在键的字典，这里写一个只能有固定键的字典class NoSuchKeyError(ValueError): ...class FixDict(di...
2020-01-07 00:25:20
275
原创 Pytorch结合语言模型理解torch.gather
Pytorch结合语言模型理解torch.gathertorch.gather一直是我觉得不太理解的函数，往往在代码里也比较少会碰到，偶尔碰到了，去查一下官方文档，查了也不太看的懂，这里结合语言模型，来解释一下torch.gather的意义，一切还是从官方文档说起文档解释torch.gather(input, dim, index, out=None, sparse_grad=False) ...
2019-12-17 00:42:11
259
原创 我已经一个月没有写博客了！
我已经一个月没有写博客了!我已经一个月没有写博客了，这段时间有点忙，心态和身体都不太吃得消，有点空子就想偷懒，哎，好累，下个月继续写，加油！...
2019-11-29 17:45:20
184
1
原创 Ubuntu18.04 CUDA 10.1 安装nccl
Ubuntu18.04 CUDA 10.1 安装ncclThe NVIDIA® Collective Communications Library ™ (NCCL) (pronounced “Nickel”) is a library of multi-GPU collective communication primitives that are topology-aware and can ...
2019-11-19 15:09:48
2487
原创 第六十四周学习笔记
第六十四周学习笔记实验结果简单用不同指标训练了几个saliency model结果如图效果都一般,模型仍有很多部分需要确认用我自己的版本(4000+)个fixation结果:结论感觉网络结构没写对,特别是上采样部分,下周任务是对这部分进行修改,换成FCN试试看上周任务完成情况论文阅读Saliency modelSaliency和caption model结合均未完...
2019-10-25 16:20:12
224
1
原创 第六十三周学习笔记
第六十三周学习笔记论文阅读概述DEEP GAZE I: BOOSTING SALIENCY PREDICTION WITH FEATURE MAPS TRAINED ON IMAGENET: This article introduces a deep saliency map prediction model which use ImageNet pretrained model to g...
2019-10-18 20:50:47
382
原创 第六十二周学习笔记
总是attend到某几个位置non visual word的影响很大如果仅仅考虑visual word生成时候的attention会不会更好
2019-10-12 17:31:06
686
原创 第六十周学习笔记
第六十周学习笔记9月23日TODObottom-up模型度量9月23日小结未完成，下午开始试图对齐生成的caption数据，结果发现存在很大的问题9月24日TODO要做的事情有点多，心态小崩，咸鱼了一天=_=9月25日TODO鹏城的api写完9月25日小结api完成，在这里9月26日TODO重新建立baseline 检查数据分布...
2019-09-27 22:20:25
445
原创 第五十九周学习笔记
第五十九周学习笔记咦?第五十八周笔记去哪了？9月16日TODOLSTM模型from scratch广义线性模型回顾两篇论文阅读晚上将之前的论文整理到github上
2019-09-20 20:17:00
608
原创 一文全解Image Captioning中常用的自动度量
Image Captioning的自动度量BLEUBLEU是2002年提出的一个自动度量，它本身是一个机器翻译的自动度量方法Approach简单来说BLEU就是一个n-gram precision的度量，它关注的是candidate出现的n-gram是否在reference中出现（即precision），而不关注reference中出现的n-gram，是否在candidate中出现（也就是...
2019-09-17 19:28:23
1682
原创 第五十六周学习笔记
第五十六周学习笔记文章阅读图卷积网络Q1，图卷积网络中的拉普拉斯矩阵是什么？A：图卷积中的拉普拉斯是图的度矩阵（对角矩阵）减邻接矩阵Q2，什么是拉普拉斯算子？A：拉普拉斯算子是欧几里得空间中的二阶微分算子，定义为梯度的散度Q3，什么是散度？A：借用物理的角度去理解，假设一个区域中有热量传播，热量传播的方向和速度可以构成一个向量（方向为向量的方向，速度为向量的模长），那么这就是一个向量...
2019-08-30 20:37:24
166
原创 Capsule Net 代码阅读笔记
Capsule Net 代码阅读笔记代码参考自这里一个对MNIST分类的capsule net由三层组成，第一层是传统的卷积层，第二层是Primary Capsule层，第三层是Digit Capsule层class CapsNet(nn.Module): def __init__(self, routing_iterations, in_channels=1, n_classes...
2019-08-15 11:27:05
945
原创 C++ 字符串字面值
C++ 字符串字面值C++11后，字符串就不能像之前或者C语言中一样赋值给char *，下面的代码将会报warning或报错char *s = "abc";warning: ISO C++ forbids converting a string constant to ‘char*’字符串字面值应该被当作const char*类型，因为它们不可以被改变，任何尝试改变字面值的操作都会导致...
2019-08-10 11:23:41
1279
原创 第五十三周学习笔记
第五十三周学习笔记论文阅读概述Densely Connected Convolutional Networks：This article introduces a novel CNN model DenseNet which distills the idea of short cut connection and extend it to connecting every two laye...
2019-08-09 18:53:50
260
原创 第五十二周学习笔记
第五十二周学习笔记论文阅读概述Boosted Attention: Leveraging Human Attention for Image Captioning: This article incorporates object saliency detection information with conventional image captioning model to boost ...
2019-08-02 17:41:16
572
原创 Pytorch 默认参数初始化
Pytorch 默认参数初始化代码参考自pytorchpytorch中的各种参数层（Linear、Conv2d、BatchNorm等）在__init__方法中定义后，不需要手动初始化就可以直接使用，这是因为Pytorch对这些层都会进行默认初始化，因此，本文主要根据源码来了解一下不同层的默认初始化方法初始化函数def kaiming_uniform_(tensor, a=0, mode='...
2019-07-29 20:32:57
21534
2
原创 第五十一周学习笔记
第五十一周学习笔记论文阅读概述Dynamic Routing Between Capsules：This article introduce a novel neural network architecture capsule net which uses group of neural called ‘capsule’ fed by vector input and output vect...
2019-07-26 18:27:23
249
原创 第五十周学习笔记
第五十周学习笔记论文阅读概述SemStyle: Learning to Generate Stylised Image Captions using Unaligned Text: This article introduces a novel model dubbed SemStyle to generate diverse image caption based on paired fa...
2019-07-19 20:16:43
876
原创 BLEU源码笔记
BLEU源码笔记本文参考代码为coco-caption回顾详细解释参见我的这篇博客，本文仅仅是代码解释BLEU是2002年提出的一个机器翻译的自动度量，它从n-gram准确率的角度对比机器翻译和人工翻译的结果，计算公式为BLEU=BPexp(∑n=1Nwnlogpn)BLEU = BP\exp\big(\sum_{n=1}^Nw_n\log p_n\big)BLEU=BPexp(...
2019-07-18 21:26:58
773
原创 第四十九周学习笔记
第四十九周学习笔记论文阅读概述neural baby talk: This article introduce a novel model dubbed neural baby talk to exploit object detection information in image caption generation. To put object word in caption, it ...
2019-07-12 19:11:01
310
原创 论文阅读方法论
论文阅读方法论version 0.1 (2019-5-1~2019-7-1)读论文，同时将论文的所有细节记录在博客上，包括题目、时间、原文链接、Intro、Approach、experiment、result、conclusion、问题、启发读完一部分论文后，将之前的论文按照题目、时间、作者、机构、motivation、解决的问题、main contribution、target、kern...
2019-07-12 11:32:32
296
1
原创 第四十八周学习笔记
第四十八周下周目标读完17-19年image captioning的CVRP论文整理近年来的SoTA image captioning model整理先前阅读的所有论文整理论文的书写方法记录重要的引用文献...
2019-07-05 21:25:48
379
原创 第四十七周学习笔记
第四十七周学习笔记image captioning根据image captioning的结果，可以发现image captioning模型其实连图片中目标有几个都无法描述正确co-occurance对image caption的结果有很大的影响对未见场景的理解能力非常差...
2019-06-28 16:58:59
283
原创 Engaging Image Captioning via Personality
Engaging Image Captioning via Personality原文地址时间：2019 CVPR arxiv 2018
2019-06-28 16:50:43
1027
原创 Point Novel Objects in Image Captioning
Point Novel Objects in Image Captioning原文地址时间：2019 CVPR本文与guide object那篇可做对比Intro本文要解决的问题是novel object captioning的问题当前的image captioning模型各方面表现都已不错，但最大的问题是，它通常建立在image-caption对上，导致了仅仅能够捕捉领域内的目标，且...
2019-06-28 16:49:33
924
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人