IT之一小佬的博客

BERT模型的详细介绍1.BERT 的基本原理是什么？BERT 来自 Google 的论文Pre-training of Deep Bidirectional Transformers for Language Understanding，BERT 是“Bidirectional Encoder Representations from Transformers”的首字母缩写，整体是一个自编码语言模型（Autoencoder LM），并且其设计了两个任务来预训练该模型。 第一个任务是采用 Ma

图神经网络方法（Graph Neural Network）概要近年来图神经网络受到大家越来越多的关注，在文本分类(Text classification)，序列标注（Sequence labeling）, 神经机器翻译（Neural machine translation）,关系抽取（Relation extraction），事件抽取（Event extraction）, 图像分类（Image Classification），视觉推理（Visual Reasoning），语义分割（Semantic

Tree-Structured LSTM模型论文概要由于能够保持按照时序的序列信息，LSTM(Long Short-Term Memory)网络在序列模型任务上能够有非常好的表现。但是该模型只能输入线型的序列，对于树型的输入(比如依赖树)无法很好的处理，由此，论文提出两种Tree-LSTM的模型，将LSTM拓展到树型的输入结构上，并在两个任务：预测语义相关性和语义分类任务上超过所有现存模型。模型介绍和比较大多数短语或句子的分布式表示分为三类：bag-of-words模型、sequence模型