达观杯文本智能挑战赛任务二（TF-IDF）

简介

TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。TF意思是词频(Term Frequency)，IDF意思是逆文本频率指数(Inverse Document Frequency)。

原理

TFIDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。TFIDF实际上是：TF * IDF。

计算

词频（TF） = 某个词在文章中出现的次数 / 文章中的总词数

逆文本频率（IDF） =  log （语料库的文档总数 / （包含该词的文档数+1））

代码实现

import pandas as pd
import numpy as np
from sklearn.cross_validation import train_test_split
from sklearn.feature_extraction.text import CountVectorizer

print("data read begin...")
train_data = pd.read_csv('./new_data/train_set.csv')
test_data = pd.read_csv('./new_data/test_set.csv')
train_data.drop(columns=['article','id'], inplace = True)
test_data.drop(columns=['article'], inplace = True)
print("data read end...")

"""提取特征"""
vectorizer = CountVectorizer(ngram_range=(1, 2), min_df = 3, max_df = 0.9, max_features = 100000)
vectorizer.fit(train_data['word_seg'])