2021-4-8-详解词向量Word2vec_获取到x和y后,我们需要将它们向量化,这就需要之前下载的词向量模型了,转为词向量

给大家的福利

零基础入门

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

同时每个成长路线对应的板块都有配套的视频提供：

因篇幅有限，仅展示部分资料

需要体系化学习资料的朋友，可以加我V获取：vip204888 （备注网络安全）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

• 有一句话：【你们说吴彦祖帅的一批】，如果输入x是【吴彦祖】，那么y可以是【你们】，【说】，【帅的】，【一批】这些词语。
• 另一句话：【你们说我帅的一批】，如果输入x是【我】，那么可以很清楚的发现这里的y和上面的一样。
• 从而可以得出一个结论：f(吴彦祖) = f(我) = y，也即 吴彦祖 = 我。

2. Word2vec的两种训练模式

2.1 Skip-gram 模型(Continuous Skip-gram Model)

​ Skip-gram模型：如果是用一个词语作为输入，来预测它周围的上下文，那这个模型叫做【Skip-gram 模型】。

____  ____ 我 ____ ____

可以看成是 单个x->单个y 模型的并联，cost function 是单个 cost function 的累加（取log之后）。

2.2 CBOW 模型(Continuous Bag-of-Words Model)

​ CBOW 模型：如果是拿一个词语的上下文作为输入，来预测这个词语本身，则是 【CBOW 模型】。

吴彦祖 没有  ____  长的 帅气

这里的输入变成了多个单词，所以要对输入处理下（一般是求和然后平均），输出的 cost function 不变

3. One-Hot Encoder(独热编码)

​ 独热编码又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。举个例子，假设我们有四个样本（行），每个样本有三个特征（列），如下图：

​ feature_1有两种可能的取值，比如是男/女，这里男用1表示，女用2表示。feature_2 和feature_3各有4种取值（状态）。one-hot编码就是保证每个样本中的单个特征只有1位处于状态1，其他的都是0。上述状态用one-hot编码如下图所示:

考虑一下的三个特征：

[“male”, “female”]
[“from Europe”, “from US”, “from Asia”]
[“uses Firefox”, “uses Chrome”, “uses Safari”, “uses Internet Explorer”]

将它换成独热编码后，应该是：

feature1=[01,10]
feature2=[001,010,100]
feature3=[0001,0010,0100,1000]

4. Word2vec

​ Word2vec模型其实就是简单化的神经网络，上文所说的输入的 x 就是One-Hot Vector，Hidden Layer没有激活函数，也就是线性的单元。Output Layer维度跟Input Layer的维度一样，用的是Softmax回归。当这个模型训练好以后，我们并不会用这个训练好的模型处理新的任务，我们真正需要的是这个模型通过训练数据所学得的参数，例如隐层的权重矩阵。

​ 这个模型是如何定义数据的输入和输出呢？就是上面提到的 CBOW 与 Skip-Gram 两种模型。CBOW对小型数据库比较合适，而Skip-Gram在大型语料中表现更好。

百度百科：

Word2vec，是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。

![在这里插入图片描述](https://img-blog.csdnimg.cn/20210525103250780.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDUyNzMz,size_16,color_FFFFFF,t_70#pic_center

参考：

https://www.jianshu.com/p/471d9bfbd72f

https://zhuanlan.zhihu.com/p/26306795

给大家的福利

零基础入门

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

同时每个成长路线对应的板块都有配套的视频提供：

因篇幅有限，仅展示部分资料

网络安全面试题

绿盟护网行动

还有大家最喜欢的黑客技术

网络安全源码合集+工具包

所有资料共282G，朋友们如果有需要全套《网络安全入门+黑客进阶学习资源包》，可以扫描下方二维码领取（如遇扫码问题，可以在评论区留言领取哦）~

需要体系化学习资料的朋友，可以加我V获取：vip204888 （备注网络安全）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

究，那么很难做到真正的技术提升。**

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！