Word2Vec + Jieba 分词实现视频标签距离计算
看[Word2vec][1]有一点时间了,不是很理解里面的算法所以决定先亲手实践试试看。
- 分词实现
- Word2vec学习实现
分词实现
首先将文章保存成了txt的格式,用python读取txt,并最终将分词结果存入txt文件中。其中还做了一次编码转换。
#coding:utf8
import jieba
# 文字转码 保留片段
conv_input_file_name = 'a.txt'
conv_output_file_name = 'b.txt'
def ucodeConvert(conv_input_file_name,conv_output_file_name):
fin = open(conv_input_file_name, 'r')
fout = open(conv_output_file_name, 'w')
line = fin.readline()
while line:
try:
newline = line.decode('GB2312').encode('utf-8')
except UnicodeError:
print 'Unicode Convert Error'
break
else:
print >> fout,newline
line = fin.readline()
finally:
fin.close()
fout.close()
print 'Convertion end'
#分词
seg_input_file_name = 'input_doc.txt'
seg_output_file_name = 'segment_result.txt'
def wordSegment (seg_input_file_name, seg_output_file_name):