NLP教程笔记：词向量

NLP教程笔记

TF-IDF

词向量

句向量

Seq2Seq 语言生成模型

CNN的语言模型

语言模型的注意力

Transformer 将注意力发挥到极致

ELMo 一词多义

GPT 单向语言模型

BERT 双向语言模型

NLP模型的多种应用

---

目录

NLP教程

词向量的几种典型应用：

一、Continuous Bag-of-Word（CBOW）

二、Skip-Gram

---

词向量的几种典型应用：

• 把这些对词语理解的向量通过特定方法组合起来，就可以有对某句话的理解了；
• 可以在向量空间中找寻同义词，因为同义词表达的意思相近，往往在空间中距离也非常近；
• 词语的距离换算。

一、Continuous Bag-of-Word（CBOW）

原理：

挑一个要预测的词，来学习这个词前后文中词语和预测词的关系。

# [Efficient Estimation of Word Representations in Vector Space](https://arxiv.org/pdf/1301.3781.pdf)
from tensorflow import keras
import tensorflow as tf
from utils import process_w2v_data  # this refers to utils.py in my [repo](https://github.com/MorvanZhou/NLP-Tutorial