python3下使Word2Vec每次运行结果一致

如何在python3环境使Word2Vec每次运行结果一致

我们经常使用gensim的Word2Vec来进行单词转向量，但是这个包存在一个问题，每次训练结果都不同，这就导致了特征无法复现。

查阅Word2Vec的官方文档，在seed参数哪里可以发现这样的解释：

• seed (int) – Seed for the random number generator. Initial vectors for each word are seeded with a hash of the concatenation of word + str(seed). Note that for a fully deterministically-reproducible run, you must also limit the model to a single worker thread (workers=1), to eliminate ordering jitter from OS thread scheduling. (In Python 3, reproducibility between interpreter launches also requires use of the PYTHONHASHSEED environment variable to control hash randomization)

在python2中，只要设置seed（随机种子）参数，以及worker=1即可保证每次训练一致，但python3还需要设置PYTHONHASHSEED 参数，
经验证使用os.environ['PYTHONHASHSEED '] =‘**'无法起作用，必须修改系统环境变量。

• windows: 右击计算机（我的电脑）-》选择属性-》在弹出的面板中选择高级系统设置-》选择环境变量-添加PYTHONHASHSEED=0
• linux: vim /etc/profile 或者 .bash_profile 然后添加PYTHONHASHSEED=0

什么是PYTHONHASHSEED？如何配置？

python的字符串hash算法并不是直接遍历字符串每个字符去计算hash，而是会有一个secret prefix和一个secret suffix，可以认为相当于是给字符串加盐后做hash，可以规避一些规律输入的情况。

显然这个secret前后缀的值会直接影响计算结果，而且它有一个启动时随机生成的机制，只不过，在2.x版本中，这个机制默认是关闭的，前后缀每次启动都设置为0，除非你改了相关环境变量来要求随机，而在3.x中修改了默认行为，如果你不配置环境变量，则默认是随机一个前后缀值，这样每次启动都会不同，这个功能有一定的安全性上的考虑，可以让攻击者难以预测内置的set或者dict的一些行为。

这个环境变量就是PYTHONHASHSEED，配置方法如下：

• 无论在2.x还是3.x中，配置为一个正整数，将作为随机种子；
• 配置为0，则secret前后缀默认清零（和2.x默认行为就一样了）；
• 配置为空串或“random”，则表示让进程随机生成（和3.x默认行为一样）。