Word2Vec + Jieba 分词实现视频标签距离计算

Word2Vec + Jieba 分词实现视频标签距离计算

看[Word2vec][1]有一点时间了，不是很理解里面的算法所以决定先亲手实践试试看。

• 分词实现
• Word2vec学习实现

分词实现

首先将文章保存成了txt的格式，用python读取txt，并最终将分词结果存入txt文件中。其中还做了一次编码转换。

#coding:utf8
import jieba

# 文字转码 保留片段
conv_input_file_name = 'a.txt'
conv_output_file_name = 'b.txt'

def ucodeConvert(conv_input_file_name,conv_output_file_name):
    fin = open(conv_input_file_name, 'r')
    fout = open(conv_output_file_name, 'w')
    line = fin.readline()

    while line:
        try:
            newline = line.decode('GB2312').encode('utf-8')
        except UnicodeError:
            print 'Unicode Convert Error'
            break
        else:
            print >> fout,newline
            line = fin.readline()
        finally:
            fin.close()
            fout.close()

    print 'Convertion end'

#分词 
seg_input_file_name = 'input_doc.txt'
seg_output_file_name = 'segment_result.txt'

def wordSegment (seg_input_file_name, seg_output_file_name):