leeyns的博客

主要介绍了BERT文章的预训练部分以及数据的生成部分。

Simple Image Caption TutorialData set: Flickr8k-Images-CaptionsVideo: Pytorch Image Captioning TutorialGitHub: Image CaptioningIn this tutorial, inception v3 and LSTM are used to build the model.Build VocabularyBuild your own vocabularyConvert text

Word2vec是一个学习单词向量的框架IDEA：我们有大量的文本 (corpus means ‘body’ in Latin. 复数为corpora)固定词汇表中的每个单词都由一个向量表示文本中的每个位置 t，其中有一个中心词 c 和上下文(“外部”)单词 o使用 c和 o的词向量的相似性来计算给定 c的 o的概率不断调整词向量来最大化这个概率目标函数L(θ)=∏t=1T∏−m≤j≤mj≠0P(wt+j∣wt;θ)L(\theta)=\prod_{t=1}^{T} \prod_{-