词频是衡量词是否重要的一种方法。可用于文本特征表示中,根据词频为词赋不同权重。有以下常用词频:
布尔词频
:用0,1区分某词是否出现,无法区分重要程度。绝对词频(term frequency,TF)
:用词出现的频率表示重要程度。TF-IDF
:绝对词频-逆文本频率:在绝对词频的基础上,对常用词进行惩罚。
1. TF绝对词频
T F = 该 条 样 本 某 词 出 现 总 词 数 该 条 样 本 总 词 数 TF= \frac{该条样本某词出现总词数}{该条样本总词数} TF=该条样本总词数该条样本某词出现总词数
绝对词频大的不一定很重要。例如一些停顿词(常用词),代词“的”“地”等等出现的频率也很高但事实上没什么作用。为此,提出了TF-IDF,在绝对词频的基础上对常用词加惩罚。
2. IDF
DF(Document Frequency)衡量词的通用程度,如果某词在所有样本中都出现了,那么该词通用性较强。
D
F
=
所
有
样
本
中
出
现
该
词
的
样
本
数
所
有
样
本
数
=
∑
i
=
1
N
I
(
w
,
D
i
)
N
DF=\frac{所有样本中出现该词的样本数}{所有样本数}=\frac{\sum_{i=1}^{N}I(w,D_i)}{N}
DF=所有样本数所有样本中出现该词的样本数=N∑i=1NI(w,Di)
D
F
∈
[
0
,
1
]
DF\in[0,1]
DF∈[0,1]DF=1 说明该词在所有样本都出现,DF值越大,表明该词更通用;作为有用特征的可能性就越小。可以把上式取倒数得到逆文本频率(Inverse Document Frequency, IDF),作为重要程度的一种衡量。同时,为了避免分母出现0,做平滑处理,分母+1。再取对数就是逆文本频率的计算公式。
I
D
F
=
l
o
g
N
∑
i
=
1
N
I
(
w
,
D
i
)
+
1
IDF=\mathop{log}\frac{N}{\sum_{i=1}^{N}I(w,D_i)+1}
IDF=log∑i=1NI(w,Di)+1N
3. TF-IDF
TF和IDF从二种不同角度衡量词的重要程度:
TF
:出现次数越多,越重要。IDF
:通用性越强,越不重要。
TF-IDF综合考虑绝对词频和通用性。越不通用,词频越高的,越重要。
T
F
−
I
D
F
=
T
F
∗
I
D
F
TF-IDF=TF* IDF
TF−IDF=TF∗IDF