基于python实现TF-IDF算法

标签：2021.09.27工作内容
参考资料：TF-IDF算法介绍及实现
声明：本文中大量内容转载至参考资料，仅归纳整理和加入部分个人观点心得，侵删

概念

1. 定义
   TF-IDF(term frequency-inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术，常用于挖掘文章中的关键词。
2. 特点：简单高效，用于最开始的文本数据清洗。
3. TF-IDF
   （1）TF：词频
   可以统计到停用词，并把它们过滤，避免对结果造成影响。
   e.g.：“的”、“了”、“是”等等
   （2）IDF：逆文档频率
   在词的频率相同时，不同词的重要性却不同。IDF会给常见的词较小的权重。
   e.g.：假设“量化”和“系统”的词频相同，则重要性：“量化” > “系统”
4. 实现方法
   当有TF和IDF后，将其相乘，能够得到一个词的TF-IDF的值。某个词在文章中的TF-IDF越大，那么它在文章中的重要性越高。

算法步骤

1. 计算词频
   词频 = 某个词在文章中出现的次数 / 文章的总次数
2. 计算逆文档的频率
   需要一个语料库（corpus）来模拟语言的使用环境。
   逆文档频率 = log(语料库的文档总数 / (包含该词的文档数 + 1))
3. 计算TF-IDF
   TF-IDF= TF × IDF
   与一个词在文档中出现的次数成正比。
   与该词在整个语言中出现的次数成反比。

优缺点

1. 优点
   简单高效，容易理解。
2. 缺点
   （1）词频衡量此的重要性不够全面，有时重要的词出现得不多
   （2）无法体现位置信息=>无法体现该词在上下文中的重要性=>用word2vec算法来支持

python实现TF-IDF算法

1. 自己构建语料库
   这个例子比较特殊，dataset既是语料库，可是我们要统计核心词的对象。

# -*- coding: utf-8 -*-
from collections import defaultdict
import math
import operator

"""
函数说明:创建数据样本
Returns:
    dataset - 实验样本切分的词条
    classVec - 类别标签向量
"""


def loadDataSet():
    dataset = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],  # 切分的词条
               ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
               ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'my'],
               ['stop', 'posting'