- 博客(9)
- 收藏
- 关注
原创 《VideoBERT: A Joint Model for Video and Language Representation Learning》
这是一篇将BERT结合video来学习跨模态表示的经典之作。该工作将video中提取出的特征向量通过聚类的方法离散化,继而在文本token的基础上增加视觉token,一起学习视觉和文本信息。1 方法1.1 视频文本数据处理(video and language processing)针对video的处理,首先从input video每秒中抽取20帧画面(20 fps),每30帧组成一个片段。对每个clip用pretrained的ConvNet提取特征向量(1024维)。但是由于特征向量属于整个实数空间
2020-10-15 10:18:56 2733 2
原创 FutureWarning: Passing (type, 1) or ‘1type‘ as a synonym of type is deprecated; in a future version
这是numpy和tensorflow版本不匹配的问题:安装tensorflow1.5的时候也同时安装numpy。conda install tensorflow1.5 numpy 就可以了。也可以重新安装numpy,指定numpy的版本:conda install numpy==1.16问题就解决了
2020-10-14 12:04:54 184
原创 Connection to Python debugger failed: Socket operation on nonsocket: configureBlocking
前一秒pycharm debug还没有任何问题,突然就不能debug了。报错如下:Connection to Python debugger failed: Socket operation on nonsocket: configureBlocking解决方法:
2020-10-13 10:49:24 2182 1
原创 Word Translation without Parallel Data - ICLR2018
1.Word Translation without Parallel Data - ICLR2018code: https://github.com/facebookresearch/MUSE工作重点是学习两个集合之间的映射,以便在共享空间中实现相近的翻译baseline方法的步骤1.种子词确认空间x和空间y:用5000对单词对,学习线性映射参数W,2.procrustes求解w:...
2019-09-09 22:15:46 792 2
原创 Transformer
Transformer利用self-attention和position embedding克服了RNN中的长距离依赖、无法并行计算的缺点,也解决了CNN中远距离特征捕获难的问题。encoderencoder由6层相同的层组成,每一层分别由两部分组成:第一部分: multi-head self-attention mechanism第二部分:position-wise feed-forwar...
2019-08-29 18:05:42 688
原创 tensorflow学习
1.例子 import tensorflow as tf import numpy as np # create data x_data = np.random.rand(100).astype(np.float32) y_data = x_data*0.1 + 0.3 Weights = tf.Var...
2019-06-01 16:22:52 91
原创 Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning(CVPR2017)
Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning(CVPR2017)
2019-04-25 15:03:58 622 1
转载 show ad tell:a neuralimge caption generator(cvpr2015)
show ad tell:a neuralimge caption generator(cvpr2015)
2019-04-24 19:07:42 187
原创 bert源码详解
BERT源码详解共四部分:1.生成预训练数据:create_pretraining_data.py,tokenization.py’2.bert模型预训练:run_pretraining.py3.bert主模型:modeling.py4.fine-tuning: run_squad.py第一部分:生成预训练数据:create_pretraining_data.py,tokeniz...
2019-04-23 21:31:50 4166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人