python初步实现word2vec

最新推荐文章于 2024-04-17 21:31:09 发布
最新推荐文章于 2024-04-17 21:31:09 发布
阅读量2.5k 收藏 6
点赞数
分类专栏： nlp 文章标签： python nlp

有关于word2vec的文章，写的不错，易懂，转载过来！
原本只想贴一个链接，想想还是算了……

一、前言

一开始看到word2vec环境的安装还挺复杂的，安了半天Cygwin也没太搞懂。后来突然发现，我为什么要去安C语言版本的呢，我应该去用Python版本的，然后就发现了gensim，安装个gensim的包就可以用word2vec了，不过gensim只实现了word2vec里面的skip-gram模型。若要用到其他模型，就需要去研究其他语言的word2vec了。

 

二、语料准备

有了gensim包之后，看了网上很多教程都是直接传入一个txt文件，但是这个txt文件长啥样，是什么样的数据格式呢，很多博客都没有说明，也没有提供可以下载的txt文件作为例子。进一步理解之后发现这个txt是一个包含巨多文本的分好词的文件。如下图所示，是我自己训练的一个语料，我选取了自己之前用爬虫抓取的7000条新闻当做语料并进行分词。注意，词与词之间一定要用空格：


 


这里分词使用的是结巴分词。

这部分代码如下：

[python] view plain copy
print ?
  1. import jieba  
  2. f1 =open(”fenci.txt”)  
  3. f2 =open(”fenci_result.txt”, ‘a’)  
  4. lines =f1.readlines()  # 读取全部内容  
  5. for line in lines:  
  6.     line.replace(’\t’, ”).replace(‘\n’, ”).replace(‘ ’,”)  
  7.     seg_list = jieba.cut(line, cut_all=False)  
  8.     f2.write(” ”.join(seg_list))  
  9.    
  10. f1.close()  
  11. f2.close()  
import jieba 

f1 =open(“fenci.txt”) 

f2 =open(“fenci_result.txt”, ‘a’) 

lines =f1.readlines()  # 读取全部内容 

for line in lines: 

    line.replace(‘\t’, ”).replace(‘\n’, ”).replace(’ ‘,”) 

    seg_list = jieba.cut(line, cut_all=False) 

    f2.write(” “.join(seg_list))

f1.close()
f2.close()

还要注意的一点就是语料中的文本一定要多，看网上随便一个语料都是好几个G，而且一开始我就使用了一条新闻当成语料库，结果很不好，输出都是0。然后我就用了7000条新闻作为语料库，分词完之后得到的fenci_result.txt是20M，虽然也不大，但是已经可以得到初步结果了。

 

三、使用gensim的word2vec训练模型

相关代码如下：

[python] view plain copy
print ?
  1. from gensim.modelsimport word2vec  
  2. import logging  
  3.    
  4.    
  5. # 主程序  
  6. logging.basicConfig(format=’%(asctime)s:%(levelname)s: %(message)s’, level=logging.INFO)  
  7. sentences =word2vec.Text8Corpus(u”fenci_result.txt”)  # 加载语料  
  8. model =word2vec.Word2Vec(sentences, size=200)  #训练skip-gram模型，默认window=5  
  9.    
  10. print model  
  11. # 计算两个词的相似度/相关程度  
  12. try:  
  13.     y1 = model.similarity(u”国家”, u“国务院”)  
  14. except KeyError:  
  15.     y1 = 0  
  16. print u“【国家】和【国务院】的相似度为：”, y1  
  17. print“—–\n”  
  18. #  
  19. # 计算某个词的相关词列表  
  20. y2 = model.most_similar(u”控烟”, topn=20)  # 20个最相关的  
  21. print u“和【控烟】最相关的词有：\n”  
  22. for item in y2:  
  23.     print item[0], item[1]  
  24. print“—–\n”  
  25.    
  26. # 寻找对应关系  
  27. print u“书-不错，质量-“  
  28. y3 =model.most_similar([u’质量’, u‘不错’], [u‘书’], topn=3)  
  29. for item in y3:  
  30.     print item[0], item[1]  
  31. print“—-\n”  
  32.    
  33. # 寻找不合群的词  
  34. y4 =model.doesnt_match(u”书 书籍 教材 很”.split())  
  35. print u“不合群的词：”, y4  
  36. print“—–\n”  
  37.    
  38. # 保存模型，以便重用  
  39. model.save(u”书评.model”)  
  40. # 对应的加载方式  
  41. # model_2 =word2vec.Word2Vec.load(“text8.model”)  
  42.    
  43. # 以一种c语言可以解析的形式存储词向量  
  44. #model.save_word2vec_format(u”书评.model.bin”, binary=True)  
  45. # 对应的加载方式  
  46. # model_3 =word2vec.Word2Vec.load_word2vec_format(“text8.model.bin”,binary=True)  
from gensim.modelsimport word2vec 

import logging

# 主程序 logging.basicConfig(format='%(asctime)s:%(levelname)s: %(message)s', level=logging.INFO) sentences =word2vec.Text8Corpus(u"fenci_result.txt") # 加载语料 model =word2vec.Word2Vec(sentences, size=200) #训练skip-gram模型，默认window=5 print model # 计算两个词的相似度/相关程度 try: y1 = model.similarity(u"国家", u"国务院") except KeyError: y1 = 0 print u"【国家】和【国务院】的相似度为：", y1 print"-----\n" # # 计算某个词的相关词列表 y2 = model.most_similar(u"控烟", topn=20) # 20个最相关的 print u"和【控烟】最相关的词有：\n" for item in y2: print item[0], item[1] print"-----\n" # 寻找对应关系 print u"书-不错，质量-" y3 =model.most_similar([u'质量', u'不错'], [u'书'], topn=3) for item in y3: print item[0], item[1] print"----\n" # 寻找不合群的词 y4 =model.doesnt_match(u"书 书籍 教材 很".split()) print u"不合群的词：", y4 print"-----\n" # 保存模型，以便重用 model.save(u"书评.model") # 对应的加载方式 # model_2 =word2vec.Word2Vec.load("text8.model") # 以一种c语言可以解析的形式存储词向量 #model.save_word2vec_format(u"书评.model.bin", binary=True) # 对应的加载方式 # model_3 =word2vec.Word2Vec.load_word2vec_format("text8.model.bin",binary=True)

输出如下：

[cpp] view plain copy
print ?
  1. ”D:\program files\python2.7.0\python.exe” “D:/pycharm workspace/毕设/cluster_test/word2vec.py”  
  2. D:\program files\python2.7.0\lib\site-packages\gensim\utils.py:840: UserWarning: detected Windows; aliasing chunkize to chunkize_serial  
  3.   warnings.warn(”detected Windows; aliasing chunkize to chunkize_serial”)  
  4. D:\program files\python2.7.0\lib\site-packages\gensim\utils.py:1015: UserWarning: Pattern library is not installed, lemmatization won’t be available.  
  5.   warnings.warn(”Pattern library is not installed, lemmatization won’t be available.”)  
  6. 2016-12-12 15:37:43,331: INFO: collecting all words and their counts  
  7. 2016-12-12 15:37:43,332: INFO: PROGRESS: at sentence #0, processed 0 words, keeping 0 word types  
  8. 2016-12-12 15:37:45,236: INFO: collected 99865 word types from a corpus of 3561156 raw words and 357 sentences  
  9. 2016-12-12 15:37:45,236: INFO: Loading a fresh vocabulary  
  10. 2016-12-12 15:37:45,413: INFO: min_count=5 retains 29982 unique words (30% of original 99865, drops 69883)  
  11. 2016-12-12 15:37:45,413: INFO: min_count=5 leaves 3444018 word corpus (96% of original 3561156, drops 117138)  
  12. 2016-12-12 15:37:45,602: INFO: deleting the raw counts dictionary of 99865 items  
  13. 2016-12-12 15:37:45,615: INFO: sample=0.001 downsamples 29 most-common words  
  14. 2016-12-12 15:37:45,615: INFO: downsampling leaves estimated 2804247 word corpus (81.4% of prior 3444018)  
  15. 2016-12-12 15:37:45,615: INFO: estimated required memory for 29982 words and 200 dimensions: 62962200 bytes  
  16. 2016-12-12 15:37:45,746: INFO: resetting layer weights  
  17. 2016-12-12 15:37:46,782: INFO: training model with 3 workers on 29982 vocabulary and 200 features, using sg=0 hs=0 sample=0.001 negative=5 window=5  
  18. 2016-12-12 15:37:46,782: INFO: expecting 357 sentences, matching count from corpus used for vocabulary survey  
  19. 2016-12-12 15:37:47,818: INFO: PROGRESS: at 1.96% examples, 267531 words/s, in_qsize 6, out_qsize 0  
  20. 2016-12-12 15:37:48,844: INFO: PROGRESS: at 3.70% examples, 254229 words/s, in_qsize 3, out_qsize 1  
  21. 2016-12-12 15:37:49,871: INFO: PROGRESS: at 5.99% examples, 273509 words/s, in_qsize 3, out_qsize 1  
  22. 2016-12-12 15:37:50,867: INFO: PROGRESS: at 8.18% examples, 281557 words/s, in_qsize 6, out_qsize 0  
  23. 2016-12-12 15:37:51,872: INFO: PROGRESS: at 10.20% examples, 280918 words/s, in_qsize 5, out_qsize 0  
  24. 2016-12-12 15:37:52,898: INFO: PROGRESS: at 12.44% examples, 284750 words/s, in_qsize 6, out_qsize 0  
  25. 2016-12-12 15:37:53,911: INFO: PROGRESS: at 14.17% examples, 278948 words/s, in_qsize 0, out_qsize 0  
  26. 2016-12-12 15:37:54,956: INFO: PROGRESS: at 16.47% examples, 284101 words/s, in_qsize 2, out_qsize 1  
  27. 2016-12-12 15:37:55,934: INFO: PROGRESS: at 18.60% examples, 285781 words/s, in_qsize 6, out_qsize 1  
  28. 2016-12-12 15:37:56,933: INFO: PROGRESS: at 20.84% examples, 288045 words/s, in_qsize 6, out_qsize 0  
  29. 2016-12-12 15:37:57,973: INFO: PROGRESS: at 23.03% examples, 289083 words/s, in_qsize 6, out_qsize 2  
  30. 2016-12-12 15:37:58,993: INFO: PROGRESS: at 24.87% examples, 285990 words/s, in_qsize 6, out_qsize 1  
  31. 2016-12-12 15:38:00,006: INFO: PROGRESS: at 27.17% examples, 288266 words/s, in_qsize 4, out_qsize 1  
  32. 2016-12-12 15:38:01,081: INFO: PROGRESS: at 29.52% examples, 290197 words/s, in_qsize 1, out_qsize 2  
  33. 2016-12-12 15:38:02,065: INFO: PROGRESS: at 31.88% examples, 292344 words/s, in_qsize 6, out_qsize 0  
  34. 2016-12-12 15:38:03,188: INFO: PROGRESS: at 34.01% examples, 291356 words/s, in_qsize 2, out_qsize 2  
  35. 2016-12-12 15:38:04,161: INFO: PROGRESS: at 36.02% examples, 290805 words/s, in_qsize 6, out_qsize 0  
  36. 2016-12-12 15:38:05,174: INFO: PROGRESS: at 38.26% examples, 292174 words/s, in_qsize 3, out_qsize 0  
  37. 2016-12-12 15:38:06,214: INFO: PROGRESS: at 40.56% examples, 293297 words/s, in_qsize 4, out_qsize 1  
  38. 2016-12-12 15:38:07,201: INFO: PROGRESS: at 42.69% examples, 293428 words/s, in_qsize 4, out_qsize 1  
  39. 2016-12-12 15:38:08,266: INFO: PROGRESS: at 44.65% examples, 292108 words/s, in_qsize 1, out_qsize 1  
  40. 2016-12-12 15:38:09,295: INFO: PROGRESS: at 46.83% examples, 292097 words/s, in_qsize 4, out_qsize 1  
  41. 2016-12-12 15:38:10,315: INFO: PROGRESS: at 49.13% examples, 292968 words/s, in_qsize 2, out_qsize 2  
  42. 2016-12-12 15:38:11,326: INFO: PROGRESS: at 51.37% examples, 293621 words/s, in_qsize 5, out_qsize 0  
  43. 2016-12-12 15:38:12,367: INFO: PROGRESS: at 53.39% examples, 292777 words/s, in_qsize 2, out_qsize 2  
  44. 2016-12-12 15:38:13,348: INFO: PROGRESS: at 55.35% examples, 292187 words/s, in_qsize 5, out_qsize 0  
  45. 2016-12-12 15:38:14,349: INFO: PROGRESS: at 57.31% examples, 291656 words/s, in_qsize 6, out_qsize 0  
  46. 2016-12-12 15:38:15,374: INFO: PROGRESS: at 59.50% examples, 292019 words/s, in_qsize 6, out_qsize 0  
  47. 2016-12-12 15:38:16,403: INFO: PROGRESS: at 61.68% examples, 292318 words/s, in_qsize 4, out_qsize 2  
  48. 2016-12-12 15:38:17,401: INFO: PROGRESS: at 63.81% examples, 292275 words/s, in_qsize 6, out_qsize 0  
  49. 2016-12-12 15:38:18,410: INFO: PROGRESS: at 65.71% examples, 291495 words/s, in_qsize 4, out_qsize 1  
  50. 2016-12-12 15:38:19,433: INFO: PROGRESS: at 67.62% examples, 290443 words/s, in_qsize 6, out_qsize 0  
  51. 2016-12-12 15:38:20,473: INFO: PROGRESS: at 69.58% examples, 289655 words/s, in_qsize 6, out_qsize 2  
  52. 2016-12-12 15:38:21,589: INFO: PROGRESS: at 71.71% examples, 289388 words/s, in_qsize 2, out_qsize 2  
  53. 2016-12-12 15:38:22,533: INFO: PROGRESS: at 73.78% examples, 289366 words/s, in_qsize 0, out_qsize 1  
  54. 2016-12-12 15:38:23,611: INFO: PROGRESS: at 75.46% examples, 287542 words/s, in_qsize 5, out_qsize 1  
  55. 2016-12-12 15:38:24,614: INFO: PROGRESS: at 77.25% examples, 286609 words/s, in_qsize 3, out_qsize 0  
  56. 2016-12-12 15:38:25,609: INFO: PROGRESS: at 79.33% examples, 286732 words/s, in_qsize 5, out_qsize 1  
  57. 2016-12-12 15:38:26,621: INFO: PROGRESS: at 81.40% examples, 286595 words/s, in_qsize 2, out_qsize 0  
  58. 2016-12-12 15:38:27,625: INFO: PROGRESS: at 83.53% examples, 286807 words/s, in_qsize 6, out_qsize 0  
  59. 2016-12-12 15:38:28,683: INFO: PROGRESS: at 85.32% examples, 285651 words/s, in_qsize 5, out_qsize 3  
  60. 2016-12-12 15:38:29,729: INFO: PROGRESS: at 87.56% examples, 286175 words/s, in_qsize 6, out_qsize 1  
  61. 2016-12-12 15:38:30,706: INFO: PROGRESS: at 89.86% examples, 286920 words/s, in_qsize 5, out_qsize 0  
  62. 2016-12-12 15:38:31,714: INFO: PROGRESS: at 92.10% examples, 287368 words/s, in_qsize 6, out_qsize 0  
  63. 2016-12-12 15:38:32,756: INFO: PROGRESS: at 94.40% examples, 288070 words/s, in_qsize 4, out_qsize 2  
  64. 2016-12-12 15:38:33,755: INFO: PROGRESS: at 96.30% examples, 287543 words/s, in_qsize 1, out_qsize 0  
  65. 2016-12-12 15:38:34,802: INFO: PROGRESS: at 98.71% examples, 288375 words/s, in_qsize 4, out_qsize 0  
  66. 2016-12-12 15:38:35,286: INFO: worker thread finished; awaiting finish of 2 more threads  
  67. 2016-12-12 15:38:35,286: INFO: worker thread finished; awaiting finish of 1 more threads  
  68. Word2Vec(vocab=29982, size=200, alpha=0.025)  
  69. 【国家】和【国务院】的相似度为： 0.387535493256  
  70. —–  
  71.   
  72. 2016-12-12 15:38:35,293: INFO: worker thread finished; awaiting finish of 0 more threads  
  73. 2016-12-12 15:38:35,293: INFO: training on 17805780 raw words (14021191 effective words) took 48.5s, 289037 effective words/s  
  74. 2016-12-12 15:38:35,293: INFO: precomputing L2-norms of word weight vectors  
  75. 和【控烟】最相关的词有：  
  76.   
  77. 禁烟 0.6038454175  
  78. 防烟 0.585186183453  
  79. 执行 0.530897378922  
  80. 烟控 0.516572892666  
  81. 广而告之 0.508533298969  
  82. 履约 0.507428050041  
  83. 执法 0.494115233421  
  84. 禁烟令 0.471616715193  
  85. 修法 0.465247869492  
  86. 该项 0.457907706499  
  87. 落实 0.457776963711  
  88. 控制 0.455987215042  
  89. 这方面 0.450040221214  
  90. 立法 0.44820779562  
  91. 控烟办 0.436062157154  
  92. 执行力 0.432559013367  
  93. 控烟会 0.430508673191  
  94. 进展 0.430286765099  
  95. 监管 0.429748386145  
  96. 惩罚 0.429243773222  
  97. —–  
  98.   
  99. 书-不错，质量-  
  100. 生存 0.613928854465  
  101. 稳定 0.595371186733  
  102. 整体 0.592055797577  
  103. —-  
  104.   
  105. 不合群的词： 很  
  106. —–  
  107.   
  108. 2016-12-12 15:38:35,515: INFO: saving Word2Vec object under 书评.model, separately None  
  109. 2016-12-12 15:38:35,515: INFO: not storing attribute syn0norm  
  110. 2016-12-12 15:38:35,515: INFO: not storing attribute cum_table  
  111. 2016-12-12 15:38:36,490: INFO: saved 书评.model  
  112.   
  113. Process finished with exit code 0  
"D:\program files\python2.7.0\python.exe" "D:/pycharm workspace/毕设/cluster_test/word2vec.py"
D:\program files\python2.7.0\lib\site-packages\gensim\utils.py:840: UserWarning: detected Windows; aliasing chunkize to chunkize_serial
  warnings.warn("detected Windows; aliasing chunkize to chunkize_serial")
D:\program files\python2.7.0\lib\site-packages\gensim\utils.py:1015: UserWarning: Pattern library is not installed, lemmatization won't be available.
  warnings.warn("Pattern library is not installed, lemmatization won't be available.")
2016-12-12 15:37:43,331: INFO: collecting all words and their counts
2016-12-12 15:37:43,332: INFO: PROGRESS: at sentence #0, processed 0 words, keeping 0 word types
2016-12-12 15:37:45,236: INFO: collected 99865 word types from a corpus of 3561156 raw words and 357 sentences
2016-12-12 15:37:45,236: INFO: Loading a fresh vocabulary
2016-12-12 15:37:45,413: INFO: min_count=5 retains 29982 unique words (30% of original 99865, drops 69883)
2016-12-12 15:37:45,413: INFO: min_count=5 leaves 3444018 word corpus (96% of original 3561156, drops 117138)
2016-12-12 15:37:45,602: INFO: deleting the raw counts dictionary of 99865 items
2016-12-12 15:37:45,615: INFO: sample=0.001 downsamples 29 most-common words
2016-12-12 15:37:45,615: INFO: downsampling leaves estimated 2804247 word corpus (81.4% of prior 3444018)
2016-12-12 15:37:45,615: INFO: estimated required memory for 29982 words and 200 dimensions: 62962200 bytes
2016-12-12 15:37:45,746: INFO: resetting layer weights
2016-12-12 15:37:46,782: INFO: training model with 3 workers on 29982 vocabulary and 200 features, using sg=0 hs=0 sample=0.001 negative=5 window=5
2016-12-12 15:37:46,782: INFO: expecting 357 sentences, matching count from corpus used for vocabulary survey
2016-12-12 15:37:47,818: INFO: PROGRESS: at 1.96% examples, 267531 words/s, in_qsize 6, out_qsize 0
2016-12-12 15:37:48,844: INFO: PROGRESS: at 3.70% examples, 254229 words/s, in_qsize 3, out_qsize 1
2016-12-12 15:37:49,871: INFO: PROGRESS: at 5.99% examples, 273509 words/s, in_qsize 3, out_qsize 1
2016-12-12 15:37:50,867: INFO: PROGRESS: at 8.18% examples, 281557 words/s, in_qsize 6, out_qsize 0
2016-12-12 15:37:51,872: INFO: PROGRESS: at 10.20% examples, 280918 words/s, in_qsize 5, out_qsize 0
2016-12-12 15:37:52,898: INFO: PROGRESS: at 12.44% examples, 284750 words/s, in_qsize 6, out_qsize 0
2016-12-12 15:37:53,911: INFO: PROGRESS: at 14.17% examples, 278948 words/s, in_qsize 0, out_qsize 0
2016-12-12 15:37:54,956: INFO: PROGRESS: at 16.47% examples, 284101 words/s, in_qsize 2, out_qsize 1
2016-12-12 15:37:55,934: INFO: PROGRESS: at 18.60% examples, 285781 words/s, in_qsize 6, out_qsize 1
2016-12-12 15:37:56,933: INFO: PROGRESS: at 20.84% examples, 288045 words/s, in_qsize 6, out_qsize 0
2016-12-12 15:37:57,973: INFO: PROGRESS: at 23.03% examples, 289083 words/s, in_qsize 6, out_qsize 2
2016-12-12 15:37:58,993: INFO: PROGRESS: at 24.87% examples, 285990 words/s, in_qsize 6, out_qsize 1
2016-12-12 15:38:00,006: INFO: PROGRESS: at 27.17% examples, 288266 words/s, in_qsize 4, out_qsize 1
2016-12-12 15:38:01,081: INFO: PROGRESS: at 29.52% examples, 290197 words/s, in_qsize 1, out_qsize 2
2016-12-12 15:38:02,065: INFO: PROGRESS: at 31.88% examples, 292344 words/s, in_qsize 6, out_qsize 0
2016-12-12 15:38:03,188: INFO: PROGRESS: at 34.01% examples, 291356 words/s, in_qsize 2, out_qsize 2
2016-12-12 15:38:04,161: INFO: PROGRESS: at 36.02% examples, 290805 words/s, in_qsize 6, out_qsize 0
2016-12-12 15:38:05,174: INFO: PROGRESS: at 38.26% examples, 292174 words/s, in_qsize 3, out_qsize 0
2016-12-12 15:38:06,214: INFO: PROGRESS: at 40.56% examples, 293297 words/s, in_qsize 4, out_qsize 1
2016-12-12 15:38:07,201: INFO: PROGRESS: at 42.69% examples, 293428 words/s, in_qsize 4, out_qsize 1
2016-12-12 15:38:08,266: INFO: PROGRESS: at 44.65% examples, 292108 words/s, in_qsize 1, out_qsize 1
2016-12-12 15:38:09,295: INFO: PROGRESS: at 46.83% examples, 292097 words/s, in_qsize 4, out_qsize 1
2016-12-12 15:38:10,315: INFO: PROGRESS: at 49.13% examples, 292968 words/s, in_qsize 2, out_qsize 2
2016-12-12 15:38:11,326: INFO: PROGRESS: at 51.37% examples, 293621 words/s, in_qsize 5, out_qsize 0
2016-12-12 15:38:12,367: INFO: PROGRESS: at 53.39% examples, 292777 words/s, in_qsize 2, out_qsize 2
2016-12-12 15:38:13,348: INFO: PROGRESS: at 55.35% examples, 292187 words/s, in_qsize 5, out_qsize 0
2016-12-12 15:38:14,349: INFO: PROGRESS: at 57.31% examples, 291656 words/s, in_qsize 6, out_qsize 0
2016-12-12 15:38:15,374: INFO: PROGRESS: at 59.50% examples, 292019 words/s, in_qsize 6, out_qsize 0
2016-12-12 15:38:16,403: INFO: PROGRESS: at 61.68% examples, 292318 words/s, in_qsize 4, out_qsize 2
2016-12-12 15:38:17,401: INFO: PROGRESS: at 63.81% examples, 292275 words/s, in_qsize 6, out_qsize 0
2016-12-12 15:38:18,410: INFO: PROGRESS: at 65.71% examples, 291495 words/s, in_qsize 4, out_qsize 1
2016-12-12 15:38:19,433: INFO: PROGRESS: at 67.62% examples, 290443 words/s, in_qsize 6, out_qsize 0
2016-12-12 15:38:20,473: INFO: PROGRESS: at 69.58% examples, 289655 words/s, in_qsize 6, out_qsize 2
2016-12-12 15:38:21,589: INFO: PROGRESS: at 71.71% examples, 289388 words/s, in_qsize 2, out_qsize 2
2016-12-12 15:38:22,533: INFO: PROGRESS: at 73.78% examples, 289366 words/s, in_qsize 0, out_qsize 1
2016-12-12 15:38:23,611: INFO: PROGRESS: at 75.46% examples, 287542 words/s, in_qsize 5, out_qsize 1
2016-12-12 15:38:24,614: INFO: PROGRESS: at 77.25% examples, 286609 words/s, in_qsize 3, out_qsize 0
2016-12-12 15:38:25,609: INFO: PROGRESS: at 79.33% examples, 286732 words/s, in_qsize 5, out_qsize 1
2016-12-12 15:38:26,621: INFO: PROGRESS: at 81.40% examples, 286595 words/s, in_qsize 2, out_qsize 0
2016-12-12 15:38:27,625: INFO: PROGRESS: at 83.53% examples, 286807 words/s, in_qsize 6, out_qsize 0
2016-12-12 15:38:28,683: INFO: PROGRESS: at 85.32% examples, 285651 words/s, in_qsize 5, out_qsize 3
2016-12-12 15:38:29,729: INFO: PROGRESS: at 87.56% examples, 286175 words/s, in_qsize 6, out_qsize 1
2016-12-12 15:38:30,706: INFO: PROGRESS: at 89.86% examples, 286920 words/s, in_qsize 5, out_qsize 0
2016-12-12 15:38:31,714: INFO: PROGRESS: at 92.10% examples, 287368 words/s, in_qsize 6, out_qsize 0
2016-12-12 15:38:32,756: INFO: PROGRESS: at 94.40% examples, 288070 words/s, in_qsize 4, out_qsize 2
2016-12-12 15:38:33,755: INFO: PROGRESS: at 96.30% examples, 287543 words/s, in_qsize 1, out_qsize 0
2016-12-12 15:38:34,802: INFO: PROGRESS: at 98.71% examples, 288375 words/s, in_qsize 4, out_qsize 0
2016-12-12 15:38:35,286: INFO: worker thread finished; awaiting finish of 2 more threads
2016-12-12 15:38:35,286: INFO: worker thread finished; awaiting finish of 1 more threads
Word2Vec(vocab=29982, size=200, alpha=0.025)
【国家】和【国务院】的相似度为： 0.387535493256 ----- 2016-12-12 15:38:35,293: INFO: worker thread finished; awaiting finish of 0 more threads 2016-12-12 15:38:35,293: INFO: training on 17805780 raw words (14021191 effective words) took 48.5s, 289037 effective words/s 2016-12-12 15:38:35,293: INFO: precomputing L2-norms of word weight vectors 和【控烟】最相关的词有： 禁烟 0.6038454175 防烟 0.585186183453 执行 0.530897378922 烟控 0.516572892666 广而告之 0.508533298969 履约 0.507428050041 执法 0.494115233421 禁烟令 0.471616715193 修法 0.465247869492 该项 0.457907706499 落实 0.457776963711 控制 0.455987215042 这方面 0.450040221214 立法 0.44820779562 控烟办 0.436062157154 执行力 0.432559013367 控烟会 0.430508673191 进展 0.430286765099 监管 0.429748386145 惩罚 0.429243773222 ----- 书-不错，质量- 生存 0.613928854465 稳定 0.595371186733 整体 0.592055797577 ---- 不合群的词： 很 —– 2016-12-12 15:38:35,515: INFO: saving Word2Vec object under 书评.model, separately None 2016-12-12 15:38:35,515: INFO: not storing attribute syn0norm 2016-12-12 15:38:35,515: INFO: not storing attribute cum_table 2016-12-12 15:38:36,490: INFO: saved 书评.model Process finished with exit code 0







本文转载而来，对，就是转载！
原地址：http://blog.csdn.net/xiaoquantouer/article/details/53583980
原作者：小拳头

xiaodangjia66
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一文详解 Word2vec 之 Skip-Gram 模型（结构篇）
weixin_33994429的博客
08-02 4584
这次的分享主要是对Word2Vec模型的两篇英文文档的翻译、理解和整合，这两篇英文文档都是介绍Word2Vec中的Skip-Gram模型。下一篇专栏文章将会用TensorFlow实现基础版Word2Vec的skip-gram模型，所以本篇文章先做一个理论铺垫。 原文英文文档请参考链接： - Word2Vec Tutorial - The Skip-G...
Python实现word2Vec model过程解析
09-18
主要介绍了Python实现word2Vec model过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python初步实现word2vec操作
12-17
一、前言 一开始看到word2vec环境的安装还挺复杂的，安了半天Cygwin也没太搞懂。后来突然发现，我为什么要去安c语言版本的呢，我应该去用python版本的，然后就发现了gensim，安装个gensim的包就可以用word2vec了，不过gensim只实现了word2vec里面的skip-gram模型。若要用到其他模型，就需要去研究其他语言的word2vec了。 二、语料准备 有了gensim包之后，看了网上很多教程都是直接传入一个txt文件，但是这个txt文件长啥样，是什么样的数据格式呢，很多博客都没有说明，也没有提供可以下载的txt文件作为例子。进一步理解之后发现这个txt是一个包含
pycharm报错ImportError: DLL load failed: 找不到指定的程序
weixin_42419898的博客
11-21 2152
为了运行Word2Vec, Doc2Vec来计算对话的嵌入层， 开始安装gensim,numpy,scipy一系列安装包，安装的时候很顺利，我以为就是这么简单，没成想运行时代码错误如下： G:\anaconda3\envs\doc\python.exe G:/AVEC-Code/sweet-wrapper-embeddings-master/GenerateEmbeddings.py Tra...
2021-01-10
weixin_44431188的博客
01-10 111
Pytorch环境搭建（anaconda+pytorch+pycharm） 学习自然语言处理时，使用word2vec模型需要用到pytorch环境，记录学习过程中pytorch环境的安装 第一步 安装anaconda Anaconda 常在机器学习中使用，它使用起来比较方便的地方在于它预装了很多第三方库，且增加了conda install命令。我们可以在Anaconda中配置多个版本的python环境。（个人觉得相当于’软件管家‘的作用，但是它管理的是库，方便后期库的安装和下载） 安装Anaconda有以下
pycharm+python+word2vec警告：C extension not loaded for Word2Vec, training will be slow.
weixin_51867095的博客
03-07 403
解决pycharm运行word2vec缺少C依赖的问题。
【自然语言处理】Word2Vec 词向量模型详解 + Python代码实战
热门推荐
知不足而奋进，望远山而前行
01-11 3万+
如下图所示，在神经网络初始化的时候，我们会随机初始化一个 N×K 的矩阵，其中 N 是 词典的大小，K 是词向量的维数（一个自行设定的超参数）。下面提出了一个初始解决方案：假设，传统模型中，我们输入 not ，希望输出是 thou，但是由于语料库庞大，最后一层 SoftMax 太过耗时，所以我们可以改为：将 not 和 thou 同时作为输入，做一个二分类问题，类别 1 表示 not 和 thou 是邻居，类别 0 表示它们不是邻居。如下图所示，在词向量模型中，输入可以是多个词。
Word2vec
weixin_37410657的博客
05-07 879
Word2vec是一种用于生成词向量的模型，它能够将词语映射到一个连续的向量空间中，使得语义相近的词语在向量空间中的距离也相近。词向量是自然语言处理中的一种重要技术，它能够捕捉词语之间的语义和语法关系，为文本分析、情感分析、文本分类等任务提供有力支持。Word2vec是一种常用的词嵌入算法，它能够将词语映射到一个连续的向量空间中，使得语义相近的词语在向量空间中的距离也相近。Word2vec包括两种模型：CBOW模型和Skip-gram模型，分别通过上下文词预测目标词和通过目标词预测上下文词。
Python之word2vec用法说明
jiet07的博客
02-25 7424
gensim版本很重要，和其他安装依赖包有关系，而且进行了修改和改进。 通过一下命令查看版本 pip list | grep gensim #导入模块 from gensim.models import Word2Vec #模型生成 model = Word2Vec(sentence,vector_size=100, min_count=1,sg=1) #模型保存 model.wv.save_word2vec_format('word2vec.txt',binary=False) #循环遍历生成序列
python中的word2vec入门
抓饭不吃皮牙子
10-20 1118
本文介绍了在 Python 中使用 ​​gensim​​ 库进行 Word2Vec 的基本步骤。通过准备语料、数据预处理、构建模型和使用模型，我们可以将 Word2Vec 应用于文本数据集，并获得词向量和相似词汇，从而提取文本语义信息。希望这篇文章能够帮助你入门 Word2Vec 在 Python 中的应用。
自然语言处理=======python利用word2vec实现计算词语相似度【gensim实现】
qq_46906413的博客
03-29 1万+
💥实验目的 🚀1、要利用已训练过的词向量模型进行词语相似度计算，实验中采用的词向量模型已事先通过训练获取的。 🚀2、于数据采用的是 2020 年特殊年份的数据，“疫情”是主要 话题。 🚀3、在计算词语之间的相似度时，采用的词语与“疫情”相关 💥实验内容 🚀1、加载已训练的词向量模型，直接调用 models.word2vec.Word2Vec.load 加载模型 wiki.model。 🚀2、计算多种形式的词语相似度 🚀3、model 计算不同方法下的词语相似度 ** 💥实验步骤 ** 🚀1、加载模型
在python下实现word2vec词向量训练与加载实例
12-17
项目中要对短文本进行相似度估计，word2vec是一个很火的工具。本文就word2vec的训练以及加载进行了总结。 word2vec的原理就不描述了，word2vec词向量工具是由google开发的，输入为文本文档，输出为基于这个文本文档...
python+Word2Vec实现情感分析完整项目
07-29
python实现了情感分析的完整项目，包含训练样本，训练好的模型，完整代码。python实现了情感分析的完整项目，包含训练样本，训练好的模型，完整代码。python实现了情感分析的完整项目，包含训练样本，训练好的模型，...
Python Word2vec训练医学短文本字/词向量实例实现，Word2vec训练字向量，Word2vec训练词向量，Word2vec训练保存与加载模型，Word2vec基础知识
L_goodboy的博客
04-02 5807
Python Word2vec训练医学短文本字/词向量实例实现，Word2vec训练字向量，Word2vec训练词向量，Word2vec训练保存与加载模型，Word2vec基础
Word2Vec词向量，python代码
weixin_42576804的博客
02-18 520
Word2Vec是一种将文本中的词转换成数字向量的技术。它通过在大型文本语料库上训练来学习每个词与其他词的关系，并将这些词映射到数字向量空间中。 下面是使用 Python 实现 Word2Vec 的示例代码(需要安装 gensim 库)： import gensim# 加载语料库，这里使用了一个预处理过的新闻数据集 sentences = gensim.models.word2vec.LineSe...
python深度学习进阶（自然语言处理）—word2vec
weixin_38477351的博客
05-23 1358
python深度学习进阶（自然语言处理）—word2vec 摘要 基于推理的方法以预测为目标，同时获得了作为副产物的单词的分布式表示。 word2vec是基于推理的方法，由简单的 2层神经网络构成。 word2vec有 skip-gram和 CBOW模型。 CBOW模型从多个单词（上下文）预测 1个单词（目标词）。 skip-gram模型反过来从 1个单词（目标词）预测多个单词（上下文）。 由于word2vec可以进行权重的增量学习，所以能够高效地更新或添加单词的分...
Word2vec原理及参数详解
机器学习、深度学习、文本分类、异常检测、风控等知识的积累和分享
08-30 1549
Word2Vec有两种主要的模型架构：连续词袋模型（Continuous Bag of Words，简称CBOW）和跳字模型（Skip-gram）。训练Word2Vec的核心目标是通过调整单词向量的权重，使得模型能够最小化实际上下文单词的预测误差，得到的词向量可用于文本分类、文本相似度、推荐等下游任务。通过多次迭代，模型将学习到单词向量，这些向量在向量空间中能够捕获单词之间的语义关系，使得具有相似语义的单词在向量空间中距离较近。
Java开发从入门到精通（二十）：Java的面向对象编程OOP：异常处理
HACKONE的博客
04-15 867
Java无法为这个世界上全部的问题都提供异常类来代表，如果企业自己的某种问题，想通过异常来表示以便用异常来管理该问题，那就需要自己来定义异常类了。这段代码上层调用saveAge(223);，不会知道这个方法到底执行成功没有，因为这个方法没有返回值，如果要返回执行情况，要用一个异常对象封装这个问题// 需求:保存一个合法的年龄System.out.println("年龄被成功保存:" + age);} else {System.out.println("年龄非法!:");异常体系的两大阵营。
【Python基础】面向对象(ObjectOriteProgramming)
最新发布
weixin_46697247的博客
04-17 221
是程序开发的方法，将方法和属性封装在对象中，可以提高代码的重用型。print("扩展的内容")print("方法2"）print("方法1"）父类以及父类的父类的。
python如何实现word2vec
04-30
在Python中，可以使用gensim库来实现word2vec模型。下面是一个简单的示例代码： 首先，需要安装gensim库： ``` pip install gensim ``` 然后，可以使用如下代码来训练word2vec模型： ```python from gensim....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值