词嵌入是将诸如单词之类的离散对象映射到向量和实数的概念。这对于机器学习的输入非常重要。该概念包括标准函数,可以有效地将离散输入对象转换为有用的向量。
词嵌入输入的示例如下所示 -
blue: (0.01359, 0.00075997, 0.24608, ..., -0.2524, 1.0048, 0.06259)
blues: (0.01396, 0.11887, -0.48963, ..., 0.033483, -0.10007, 0.1158)
orange: (-0.24776, -0.12359, 0.20986, ..., 0.079717, 0.23865, -0.014213)
oranges: (-0.35609, 0.21854, 0.080944, ..., -0.35413, 0.38511, -0.070976)
Word2vec
Word2vec是最常用的无监督词嵌入技术方法。它通过使用跳跃图来训练模型,以使给定的输入词通过预测单词的上下文来预测。
TensorFlow提供了许多实现这种类型模型的方法,具有不断增加的复杂性和优化,使用多线程概念和更高级别的抽象。
import os
import math
import numpy as np
import tensorflow as tf
from tensorflow.contrib.tensorboard.plugins import projector
batch_size = 64
embedding_dimensio