达观数据比赛 第二天任务

完成了对达观数据的初次尝试之后，现在开始要正儿八经地开始搞一搞nlp的东西了。

清明节假期第三天ing，也该收收心了，简单得用CSDN来记录本次学习任务，并完成打卡吧～

【任务2.1】时常: 2天

1.学习TF-IDF理论并实践，使用TF-IDF表示文本。

 

今天我们来学习一个在nlp领域里重要的概念，这个概念自己在之前硕士阶段数据挖掘以及大数据分析课程中，也是已经有过一定的了解。今天也算是复习复习了。

首先咱们来看看百度百科的定义：TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。TF意思是词频(Term Frequency)，IDF意思是逆文本频率指数(Inverse Document Frequency)。

通俗来讲, TF是一个词条在文章中出现的次数的频率。出现次数越多的词条，理论上会具有更大的TF值。

而另外一个IDF呢？ 它是用来衡量这个词条对于文章的区分度。我们在文章分类任务中，肯定是希望可以找到那些可以很好归纳总结及体现这篇文章的核心词条。举个简单的例子：一个词‘我们’，非常常见吧，他在文章中的TF已经是挺高的，但是，它在所有的文章中都具有很高的TF，那它就不具备有帮助我们区分文章的功能，所以它的IDF就非常低，我们理论上也需要丢弃这样的词条。

结合TF和IDF，可以帮助我们过滤掉不具备体现和区分文章的词条，留下那些有用的。公式如下：

TF-IDF在Python中已经得到实现，并封装好对应的库，我们只需要在使用的时候简单地来调用即可。导入所需要的库：

from sklearn.feature_extraction.text import TfidfVectorizer

再将学习到目前为止的代码贴出来，供大家尝试。

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer

# read data
df = pd.read_csv('data/train_set.csv', nrows=5000)

# observe data
print(df['class'].value_counts(normalize=True, ascending=False))

# split training set and validation set
predictor = ['article', 'word_seg']
x_train, x_validation, y_train, y_validation = train_test_split(df[predictor], df['class'], test_size=0.2)

# TF-IDF
vectorizer = TfidfVectorizer()
x_train = vectorizer.fit_transform(x_train['word_seg'])
x_validation = vectorizer.fit_transform(x_validation['word_seg'])
print(x_train)
print(x_validation)

之后还会有更多深入的学习和探讨，希望可以有更多的收获吧～