word2vec & 相关系数

2017CSDN用户画像竞赛：

对文本进行提取,利用结巴分词进行分词,然后进行word2vec训练(维度设置为100),得到每个词的词向量.
对于每一个用户,通过其发表的内容,得到用户所使用的词汇,然后求得用户的平均词向量.(词向量和除以词的数量)
通过训练集,分别对用户地区,年龄,性别进行建模

用户内容主题词生成：
给定若干用户文档（博客或帖子），为每一篇文档生成3个最合适的主题词。要求生成的主题词必须出现在文档中。
用户兴趣标注：
给定若干用户的文档信息（博客或帖子）和行为数据（浏览、评论、收藏、转发、点赞/踩、关注、私信等），为每一个用户标注3个最合适的兴趣方向。标签空间由CSDN给定。

相关系数：

excel内相关系数和CORREL函数
pearsonr, spearmanr, kendalltau三大相关系数函数

from scipy.stats import pearsonr, spearmanr, kendalltau

def calFunc():
    vector1 = df['total']
    vector2 = df['Method']

    print('vector1 and vector2 similarity:')
    print('{0} and {1} pearsonr: {2}'.format('vector1', 'vector2', pearsonr(vector1, vector2)))
    print('{0} and {1} spearmanr: {2}'.format('vector1', 'vector2', spearmanr(vector1, vector2)))
    print('{0} and {1} spearmanr: {2}'.format('vector1', 'vector2', kendalltau(vector1, vector2)))

if __name__ == '__main__':
    calFunc()

pandas内置函数corr()也是用的皮尔逊相关系数
绘制热力图

corrmat = df.corr() ##corrmat是相关性矩阵
f, ax = plt.subplots(figsize=(20, 9))##绘制画布
sns.heatmap(corrmat, vmax=0.8, square=True) ##得到各特征图的热力图
plt.savefig('C:/Users/Administrator/Desktop/home/论文/p1.png')
plt.show()