gensim从word2vec到song2vec 在推荐领域的应用

"""
从word2vec到song2vec
说起来word2vec，其实就是把词映射成一定维度的稠密向量，同时保持住词和词之间的关联性，主要体现在(欧式)距离的远近上。

那么问题来了，word2vec为什么能够学习到这样的结果？

因为我们相信“物以类聚，人以群分” “一个人的层次与他身边最近的一些人是差不多的”

同样的考虑，我们是不是可以认为，一个歌单里的歌曲，相互之间都有一定的关联性呢？就像句子中的词一样。答案是，是的！

咱们来写个程序跑一把。

这样就可以发现每首歌曲的向量可以有一定的关联行
这样的例子还可以用在对用户购买行为的分析　　商品之间的相似度计算　浏览文档之间的相似性
买了这个用户还买了这个
看了这个的用户还看了这个
等等
．．．．．．．．．．．．．．．
观察的是一种贡献的关联性　　有一定的联系
"""
"""
从word2vec到song2vec
我们把歌曲的id序列取出来，类比于分完词后的句子，送到word2vec中去学习一下，看看会有什么效果。
"""
#coding: utf-8
import multiprocessing
import gensim
import sys
from random import shuffle

def parse_playlist_get_sequence(in_line, playlist_sequence):
	song_sequence = []
	contents = in_line.strip().split("\t")
	# 解析歌单序列
	for song in contents[1:]:
		try:
			song_id, song_name, artist, popularity = song.split(":::")
			song_sequence.append(song_id)
		except:
			print ("song format error")
			print (song+"\n")
	for i in range(len(song_sequence)):
		shuffle(song_sequence)
		playlist_sequence.append(song_sequence)


def train_song2vec(in_file, out_file):
	#所有歌单序列
	playlist_sequence = []
	#遍历所有歌单
	for line in open(in_file):
		parse_playlist_get_sequence(line, playlist_sequence)
	#使用word2vec训练
	cores = multiprocessing.cpu_count()
	print ("using all "+str(cores)+" cores")
	print ("Training word2vec model...")
    #训练词向量　
	model = gensim.models.Word2Vec(sentences=playlist_sequence, size=150, min_count=3, window=7, workers=cores)
	print ("Saving model...")
	model.save(out_file)
    
    
song_sequence_file = "./recommend/163_music_playlist.txt"
model_file = "./recommend/song2vec.model"
train_song2vec(song_sequence_file, model_file)

 

"""
模型已经训练完了，咱们来试一把预测，看看效果

这个预测的过程，实际上就是对某首歌曲，查找“最近”的歌曲（向量距离最近的歌曲）