从0开始机器学习--4.0 机器学习模型编码--one-hot独热、word2vec、node2vec

写在前面

在上一篇中，我们了解了如何对数字形式的源数据做数据预处理，那现实生活中碰到的大多原始数据都是其他形式（如文字）的怎么办？当然也是转换成向量（数字）形式啦。毕竟到目前为止我认为机器学习的本质就是对向量进行各种运算和处理。这一篇文章也可以算是对《3.数据预处理》的延申，介绍one-hot、word2vec、node2vec。

• 本文参考了其他博客：
• 机器学习数据预处理1：独热编码（One-Hot）及其代码-CSDN博客
• 机器学习数据预处理2：词向量 (word2vec)_word2vec能用于机器学习吗-CSDN博客
• 机器学习数据预处理3：结点向量 (node2vec)_节点向量-CSDN博客

1.python基础；
2.ai模型概念+基础；
3.数据预处理；
4.机器学习模型--1.聚类；2.降维；3.回归（预测）；4.分类；
5.正则化技术；
6.神经网络模型--1.概念+基础；2.几种常见的神经网络模型；
7.对回归、分类模型的评价方式；
8.简单强化学习概念；
9.几种常见的启发式算法及应用场景；
10.机器学习延申应用-数据分析相关内容--1.A/B Test；2.辛普森悖论；3.蒙特卡洛模拟；
以及其他的与人工智能相关的学习经历，如数据挖掘、计算机视觉-OCR光学字符识别等。

---

one-hot 编码

为什么使用 one-hot 编码？

问题 

在机器学习算法中，我们经常会遇到分类特征，例如：人的性别有男女，祖国有中国，美国，法国等。 这些特征值并不是连续的，而是离散的，无序的。

目的

如果要作为机器学习算法的输入，通常我们需要对其进行特征数字化。什么是特征数字化呢？例如：

•            性别特征：["男"，"女"]
•            祖国特征：["中国"，"美国，"法国"]
•            运动特征：["足球"，"篮球"，"羽毛球"，"乒乓球"]

瓶颈

假如某个样本（某个人），他的特征是 ["男","中国","乒乓球"] ，我们可以用 [0,0,4] 来表示，但是这样的特征处理并不能直接放入机器学习算法中。因为类别之间是无序的。

什么是 one-hot 编码？

定义 

独热编码即 One-Hot 编码，又称一位有效编码。其方法是使用 N位 状态寄存器来对 N个状态 进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。

理解

One-Hot 编码是分类变量作为二进制向量的表示。

1. 将分类值映射到整数值。
2. 然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。

举例1：
举个例子，假设我们有四个样本（行），每个样本有三个特征（列），如图：

上述feature_1有两种可能的取值，比如是男/女，这里男用1表示，女用2表示。feature_2 和 feature_3 各有4种取值（状态）。

one-hot 编码就是保证每个样本中的单个特征只有1位处于状态1，其他的都是0。

上述状态用 one-hot 编码如下图所示：

举例2：
按照 N位状态寄存器 来 对N个状态 进行编码的原理，处理后应该是这样的

性别特征：["男","女"] （这里只有两个特征，所以 N=2）：

男  =>  10

女  =>  01

祖国特征：["中国"，"美国，"法国"]（N=3）：

中国  =>  100

美国  =>  010

法国  =>  001

运动特征：["足球"，"篮球"，"羽毛球"，"乒乓球"]（N=4）：

足球  =>  1000

篮球  =>  0100

羽毛球  =>  0010

乒乓球  =>  0001

所以，当一个样本为 ["男","中国","乒乓球"] 的时候，完整的特征数字化的结果为：

[1，0，1，0，0，0，0，0，1]

下图可能会更好理解：

python 代码示例：

from sklearn import preprocessing  
   
enc = preprocessing.OneHotEncoder()  
enc.fit([[0,0,3],[1,1,0],[0,2,1],[1,0,2]])  # 训练。这里共有4个数据，3种特征
   
array = enc.transform([[0,1,3]]).toarray()  # 测试。这里使用1个新数据来测试
   
print array   # [[ 1  0  0  1  0  0  0  0  1]] # 独热编码结果

以上对应关系可以解释为下图：

one-hot 编码优缺点？

优点

(1) 解决了 分类器不好处理离散数据 的问题。

•     a. 欧式空间。在回归，分类，聚类等机器学习算法中，特征之间距离计算 或 相似度计算是非常重要的，而我们常用的距离或相似度的计算都是在欧式空间的相似度计算，计算余弦相似性，基于的就是欧式空间。
•     b. one-hot 编码。使用 one-hot 编码，将离散特征的取值扩展到了欧式空间，离散特征的某个取值 就 对应欧式空间的某个点。将离散型特征使用 one-hot 编码，确实会让 特征之间的距离计算 更加合理。

(2) 在一定程度上也起到了 扩充特征 的作用。

缺点

在文本特征表示上有些缺点就非常突出了。

• (1) 它是一个词袋模型，不考虑词与词之间的顺序（文本中词的顺序信息也是很重要的）；
• (2) 它 假设词与词相互独立（在大多数情况下，词与词是相互影响的）；
• (3) 它得到的 特征是离散稀疏 的 (这个问题最严重)。

上述第3点展开：
(1) 为什么得到的特征是离散稀疏的？

    例如，如果将世界所有城市名称作为语料库的话，那这个向量会过于稀疏，并且会造成维度灾难。如下：

    杭州 [0,0,0,0,0,0,0,1,0,……，0,0,0,0,0,0,0]
    上海 [0,0,0,0,1,0,0,0,0,……，0,0,0,0,0,0,0]
    宁波 [0,0,0,1,0,0,0,0,0,……，0,0,0,0,0,0,0]
    北京 [0,0,0,0,0,0,0,0,0,……，1,0,0,0,0,0,0]

    在语料库中，杭州、上海、宁波、北京各对应一个向量，向量中只有一个值为1，其余都为0。

(2) 能不能把词向量的维度变小呢？

     a) Dristributed representation：

          可以解决 One hot representation 的问题，它的思路是:

•           1. 通过训练，将 每个词 都映射到一个 较短的词向量 上来。
•           2. 所有的这些 词向量 就构成了 向量空间，
•           3. 进而可以用 普通的统计学的方法 来研究词与词之间的关系。

          这个较短的词向量维度是多大呢？这个一般需要我们在训练时自己来指定。

      b) 举例：

          1. 比如将词汇表里的词用 "Royalty", "Masculinity", "Femininity" 和 "Age" 4个维度来表示，King 这个词对应的词向量可能是 (0.99,0.99,0.05,0.7)。

          2. 在实际情况中，并不能对词向量的每个维度做一个很好的解释。

          3. 将king这个词从一个可能非常稀疏的向量坐在的空间，映射到现在这个 四维向量 所在的空间，必须满足以下性质：

           （1）这个映射是单射；
           （2）映射之后的向量 不会丢失之前的 那种向量 所含的信息 。

          4. 这个过程称为 word embedding（词嵌入），即将高维词向量嵌入到一个低维空间（会在《第四篇--降维》中具体介绍）。如图：

          5. 经过我们一系列的降维神操作，有了用 representation 表示的较短的词向量，我们就可以较容易的分析词之间的关系了，比如我们将词的维度降维到 2维，有一个有趣的研究表明，用下图的词向量表示我们的词时，我们可以发现：

          6. 出现这种现象的原因是，我们得到最后的词向量的训练过程中引入了词的上下文。举例：

             想到得到 "learning" 的词向量，但训练过程中，你同时考虑了它左右的上下文，那么就可以使 "learning" 带有语义信息了。通过这种操作，我们可以得到近义词，甚至 cat 和它的复数 cats 的向量极其相近。

from sklearn.preprocessing import OneHotEncoder
import numpy as np

# 示例数据
categories = np.array(['cat', 'dog', 'fish']).reshape(-1, 1)

# 初始化并应用 One-Hot 编码
encoder = OneHotEncoder(sparse=False)
one_hot_encoded = encoder.fit_transform(categories)

print(one_hot_encoded)

输出：

[[1. 0. 0.]
 [0. 1. 0.]
 [0. 0. 1.]]

word2vec

定义

word2vec就是word to vector的缩写，word2vec 也叫 word embeddings，中文名 “词向量”，作用就是将 自然语言中的字词 转为 计算机可以理解的 稠密向量（Dense Vector）。

功能

对于One-Hot 编码的维度灾难 (产生的是稀疏向量)，用 Vector Representations 可以有效解决这个问题。

          (1) Word2Vec 可以将 One-Hot Encoder 转化为低维度的连续值，也就是稠密向量；

          (2) 并且其中 意思相近的词 将被映射到 向量空间中 相近的位置。 如果将 embed 后的城市向量 通过 PCA 降维后可视化展示出来，那么结果如下。

模型

Word2Vec 模型其实就是简单化的神经网络（会在第六篇中具体介绍）。Word2Vec 方法由两部分组成。

1. 首先是将高维独热形式表示的单词映射成低维向量。例如将 10，000 列的矩阵转换为 300 列的矩阵。这个过程被称为词嵌入。
2. 第二个目标是在保留单词上下文的同时，从一定程度上保留其意义。

• Input Layer：是 One-Hot Vector，
• Hidden Layer： 没有激活函数，也就是线性的单元。这一层输出一个 dense vector，作为下一层的输入。
• Output Layer：维度跟 Input Layer 的维度一样，用的是Softmax回归。
   

input layer —> hidden layer 网络的参数计算 (词嵌入过程)：

• 上图中，乘号右边的矩阵 代表 hidden layer 的权重。设 input layer神经元数目(insize) 是 a ，hidden layer神经元数目 (outsize) 是 b ，weights数目 w，则有以下关系：w=a*b。 因此，权重矩阵的维度是 a*b。
• 乘号左边的绿色的元素 代表 输入向量中的一个神经元，右边绿色的一行元素 代表 该输入神经元 与 hidden layer所有神经元连接的一组weights。

下图是示例：

矩阵代表以上计算过程仍然存在缺点，因此被做简化。

缺点

       我们来看一下上图中的矩阵运算，左边分别是1 x 5 和5 x 3 的矩阵，结果应该是1 x 3的矩阵，按照矩阵乘法的规则，结果的第一行第一列元素为0 x 17 + 0 x 23 + 0 x 4 + 1 x 10 + 0 x 11 = 10，同理可得其余两个元素为12，19。如果10000个维度的矩阵采用这样的计算方式是十分低效的。

解决

       为了有效地进行计算，这种稀疏状态下不会进行矩阵乘法计算。上面的例子中，左边向量中取值为1的对应维度为3（下标从0开始），那么对应的就是矩阵的第3行（下标从0开始）—— [10, 12, 19]。这样模型中的隐层 权重矩阵 便成了一个“查找表”（lookup table）。进行矩阵计算时，直接去查 输入向量中 取值为1的 维度下 对应的那些 权重值。隐层的输出 就是 每个输入单词 的“嵌入词向量”。

分类

CBOW模式

定义：给定 上下文，来预测 input word。

应用：对 小型数据库 比较合适。

t 代表语句中的位置。

Skip-Gram模式

定义:  给定 input word 来预测 上下文。

应用：在 大型语料 中表现更好。

例子：
对同样一个句子：Hangzhou is a nice city。如果要构造一个语境与目标词汇的映射关系，其实就是 input 与 label 的关系。 

CBOW可以制造的映射关系为：[Hangzhou,a]—>is，[is,nice]—>a，[a,city]—>nice 
Skip-Gram可以制造的映射关系为：(is,Hangzhou)，(is,a)，(a,is)， (a,nice)，(nice,a)，(nice,city)

其他博文：如何通俗理解Word2Vec (23年修订版)_word2vec_v_JULY_v-GitCode 开源社区 (csdn.net)

from gensim.models import Word2Vec

# 示例句子
sentences = [["cat", "chased", "the", "mouse"], ["dog", "barked"]]

# 训练 Word2Vec 模型
model = Word2Vec(sentences, vector_size=10, window=5, min_count=1, sg=0)

# 获取某个词的向量表示
word_vector = model.wv['cat']
print(word_vector)

输出：cat 的词向量表示（一个稠密向量）。 

node2vec

目标

如何去把 一张图 来当作 一篇文本，图中节点表示成文本中的 token。然后调用现成的 word2vec模型 来生成向量。

瓶颈：而图不同于文本的特点是，文本是一个线性序列，图是一个复杂结构。 

思路：使用 Skip-Gram 算法，其中

          单词：将 node 作为单词；  

          句子：通过随机游走，得到 node 的序列，将这个序列作为句子。 

改进：为了提高Skip-Gram的训练过程的效率，DeepWalk采用 分层 softmax 的方法 来训练。

               1. 即将 node 分配到 二叉树的叶节点上。

               2. 在构造二叉树时，使用霍夫曼编码（数据结构中的概念），将使用频率高的节点放到较短的分支上。

          这样算法复杂度（数据结构基础概念）就从O(|V|)降到了O(log|V|)。

概念：node2vec 通过改变 随机游走序列的生成方式 进一步 扩展了DeepWalk 算法。

思路：DeepWalk 选取随机游走序列中下一个节点的方式是均匀随机分布的，而node2vec通过引入两个参数p和q，将 宽度先搜索 和 深度优先搜索（数据结构基础概念） 引入随机游走序列的生成过程，来对图中的节点进行采样。如图所示。BFS 采样得到的是 Local microscopic view, 而DFS得到的是Global macrooscopoc view。 

缺点（原博主的思考）：Link Prediction 是一个 Graph 问题，它的目标是根据已知的节点和边，得到新的边（的权值/特征）。目前nodevec的做法就好比，在一个社交网络上，只和其中很少一部分人建立了社交关系，剩下很多用户都没有关注。是否还有其他改进途径？

其他博文：

node2vec python 实现和理解_from node2vec import node2vec-CSDN博客

from node2vec import Node2Vec
import networkx as nx

# 创建简单图
G = nx.karate_club_graph()

# 初始化 Node2Vec
node2vec = Node2Vec(G, dimensions=10, walk_length=5, num_walks=50, workers=1)

# 训练模型
model = node2vec.fit(window=10, min_count=1)

# 获取某个节点的嵌入向量
node_vector = model.wv['1']
print(node_vector)

输出：节点 1 的向量表示。 

原博客

机器学习数据预处理1：独热编码（One-Hot）及其代码-CSDN博客

机器学习数据预处理2：词向量 (word2vec)_word2vec能用于机器学习吗-CSDN博客

机器学习数据预处理3：结点向量 (node2vec)_节点向量-CSDN博客

---

总结

• One-Hot独热编码：将每个类别转换为一个长度为类别总数的二进制向量，向量中只有一个位置为1，其他位置为0，常用于分类任务中的特征表示。
• Word2Vec：通过上下文预测词向量或根据词预测上下文，学习每个词的低维稠密向量表示，使得相似词的向量在语义空间中更接近，常用于自然语言处理任务。
• Node2Vec：基于图结构的节点嵌入算法，通过随机游走生成节点的序列，然后使用类似 Word2Vec 的方法生成节点的向量表示，常用于网络分析或图上的节点分类任务。