数据竞赛——1

TF-IDF

TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。（百度百科）

TF（Term Frequency）词频，某个词在文章中出现的次数或频率，如果某篇文章中的某个词出现多次，那这个词可能是比较重要的词，当然，停用词不包括在这里。

IDF（inverse document frequency）逆文档频率，这是一个词语“权重”的度量，在词频的基础上，如果一个词在多篇文档中词频较低，也就表示这是一个比较少见的词，但在某一篇文章中却出现了很多次，则这个词IDF值越大，在这篇文章中的“权重”越大。所以当一个词越常见，IDF越低。

此处的具体实现

from sklearn.feature_extraction.text import TfidfTransformer  
from sklearn.feature_extraction.text import CountVectorizer

vectorizer = CountVectorizer()
word_frequence = vectorizer.fit_transform(data['word_seg'])
words = vectorizer.get_feature_names()

tfidf_transformer=TfidfTransformer()
word_seg_tfidf=tfidf_transformer.fit_transform(word_frequence)

word2vec

word2vec，是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。（百度百科）

word2vec 本质上是一个语言模型，它的输出节点数是 V 个，对应了 V 个词语，本质上是一个多分类问题。

此处的具体实现

import gensim

def sentence2list(sentence):
    return sentence.strip().split()
    
sentences_train = list(data['word_seg'].apply(sentence2list))
sentences = sentences_train
vector_size = 100
model = gensim.models.Word2Vec(sentences=sentences, size=vector_size, window=5, min_count=5, workers=8, sg=0, iter=5)

参考文献
[1]: https://zhuanlan.zhihu.com/p/27330205
[2]: https://www.zhihu.com/people/zhang-wen-tao-56-51/activities
[3]: https://blog.csdn.net/GreatXiang888/article/details/82873435
[4]: 公众号：AI小白入门的文章—— “达观杯”文本智能处理挑战赛，季军带你飞
[5]: https://github.com/yuquanle/2018-daguan-competition-rank4