UIBE_day_day_up的博客

本文主要阅读并总结了论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》，分析了 BERT 的基本原理与架构，同时基于之前解读的一些自然语言处理经典论文，简要分析了 BERT 的思想沿承与开创性意义。

2017年，Vaswani 等人在 NLP 领域顶级会议上发表了论文《Attention Is All You Need》，提出了 NLP 历史上里程碑的模型——Transformer。Transformer 创造性地抛弃了经典的 CNN、RNN 结构，仅使用 attention 机制和全连接网络搭建，在序列到序列（Seq2Seq）任务上取得了良好效果。自 Transformer 始，attention 机制取代了 RNN 的主流地位。本文阅读并总结了该经典论文，并详细介绍了 Transformer 的原理

本文详细阅读了ELMO论文，并对该模型的特点、模型架构和思路进行了分析，包括其BiLSTM结构特点、模型优势、模型意义以及其背后的重要思想等。

Word2Vec 是自然语言处理、文本表示学习的典型模型，首次提出了 CBOW、Skip-gram 等目前仍在沿用的词向量学习思想。本文主要阅读并总结了 Word2Vec 原始论文《Efficient Estimation of Word Representations in Vector Space》，对该论文及其提出的 Word2Vec 模型基本原理、复杂度计算、多维语义相似度测试标准进行了一个大致介绍。