机器学习之特征提取 TF-IDF

最新推荐文章于 2024-03-14 18:14:56 发布
最新推荐文章于 2024-03-14 18:14:56 发布
阅读量2.3k 收藏 38
点赞数 38
分类专栏： 机器学习 文章标签： 机器学习 tf-idf 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lijunhcn/article/details/134706982
版权

在这里插入图片描述

一、概念

“词频－逆向文件频率”（TF-IDF）是一种在文本挖掘中广泛使用的特征向量化方法，它可以体现一个文档中词语在语料库中的重要程度。
词语由t表示，文档由d表示，语料库由D表示。词频TF(t,d)是词语t在文档d中出现的次数。文件频率DF(t,D)是包含词语的文档的个数。如果我们只使用词频来衡量重要性，很容易过度强调在文档中经常出现，却没有太多实际信息的词语，比如“a”，“the”以及“of”。如果一个词语经常出现在语料库中，意味着它并不能很好的对文档进行区分。TF-IDF就是在数值化文档信息，衡量词语能提供多少信息以区分文档。其定义如下：

在这里插入图片描述

此处|D| 是语料库中总的文档数。公式中使用log函数，当词出现在所有文档中时，它的IDF值变为0。加1是为了避免分母为0的情况。TF-IDF 度量值表示如下：

在这里插入图片描述


在Spark ML库中，TF-IDF被分成两部分：TF (+hashing) 和 IDF。

TF: HashingTF 是一个Transformer，在文本处理中，接收词条的集合然后把这些集合转化成固定长度的特征向量。这个算法在哈希的同时会统计各个词条的词频。

IDF: IDF是一个Estimator，在一个数据集上应用它的fit（）方法，产生一个IDFModel。 该IDFModel 接收特征向量（由HashingTF产生），然后计算每一个词在文档中出现的频次。IDF会减少那些在语料库中出现频率较高的词的权重。

Spark.mllib 中实现词频率统计使用特征hash的方式，原始特征通过hash函数，映射到一个索引值。后面只需要统计这些索引值的频率，就可以知道对应词的频率。这种方式避免设计一个全局1对1的词到索引的映射，这个映射在映射大量语料库时需要花费更长的时间。但需要注意，通过hash的方式可能会映射到同一个值的情况，即不同的原始特征通过Hash映射后是同一个值。为了降低这种情况出现的概率，我们只能对特征向量升维。i.e., 提高hash表的桶数，默认特征维度是 2^20 = 1,048,576.

在下面的代码段中，我们以一组句子开始。首先使用分解器Tokenizer把句子划分为单个词语。对每一个句子（词袋），我们使用HashingTF将句子转换为特征向量，最后使用IDF重新调整特征向量。这种转换通常可以提高使用文本特征的性能。

二、代码实现

2.1、构造文档集合

导入TFIDF所需要的包，创建一个简单的DataFrame，每一个句子代表一个文档。

import java.util.Arrays;
import java.util.List;
import org.apache.spark.ml.feature.HashingTF;
import org.apache.spark.ml.feature.IDF;
import org.apache.spark.ml.feature.IDFModel;
import org.apache.spark.ml.feature.Tokenizer;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.RowFactory;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.Metadata;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;

//获取spark
SparkSession spark = SparkSession.builder().appName("FeatureExtractors").master("local").getOrCreate();

//构造数据
List<Row> rawData = Arrays.asList(RowFactory.create(0, "I heard about Spark and I love Spark"),
        RowFactory.create(0, "I wish Java could use case classes"),
        RowFactory.create(1, "Logistic regression models are neat")
        );


StructType schema = new StructType(new StructField[] {
        new StructField("label",DataTypes.IntegerType,false,Metadata.empty()),
        new StructField("sentence",DataTypes.StringType,false,Metadata.empty())
});
Dataset<Row> sentenceData = spark.createDataFrame(rawData,schema);
sentenceData.show(false);

输出结果：

+-----+-------------------------------------+
|label|sentence                             |
+-----+-------------------------------------+
|0    |I heard about Spark and I love  Spark|
|0    |I wish Java could use case  classes  |
|1    |Logistic regression models are  neat |
+-----+-------------------------------------+
2.2、tokenizer对句子进行分词

得到文档集合后，即可用tokenizer对句子进行分词。

Tokenizer tokenizer = new Tokenizer().setInputCol("sentence").setOutputCol("words");
Dataset<Row> wordsData = tokenizer.transform(sentenceData);
wordsData.show(false);

输出结果：

+-----+------------------------------------+---------------------------------------------+
|label|sentence                            |words                                        |
+-----+------------------------------------+---------------------------------------------+
|0    |I heard about Spark and I love Spark|[i, heard, about, spark, and, i, love, spark]|
|0    |I wish Java could use case classes  |[i, wish, java, could, use, case, classes]   |
|1    |Logistic regression models are neat |[logistic, regression, models, are, neat]    |
+-----+------------------------------------+---------------------------------------------+
2.3、TF把句子哈希成特征向量

得到分词后的文档序列后，即可使用HashingTF的transform()方法把句子哈希成特征向量，这里设置哈希表的桶数为2000。

HashingTF hashingTF = new HashingTF().setInputCol("words").setOutputCol("rawFeatures").setNumFeatures(2000);
Dataset<Row> featurizedData = hashingTF.transform(wordsData);
featurizedData.show(false);

输出结果：

+-----+------------------------------------+---------------------------------------------+---------------------------------------------------------------------+
|label|sentence                            |words                                        |rawFeatures                                                          |
+-----+------------------------------------+---------------------------------------------+---------------------------------------------------------------------+
|0    |I heard about Spark and I love Spark|[i, heard, about, spark, and, i, love, spark]|(2000,[240,333,1105,1329,1357,1777],[1.0,1.0,2.0,2.0,1.0,1.0])       |
|0    |I wish Java could use case classes  |[i, wish, java, could, use, case, classes]   |(2000,[213,342,489,495,1329,1809,1967],[1.0,1.0,1.0,1.0,1.0,1.0,1.0])|
|1    |Logistic regression models are neat |[logistic, regression, models, are, neat]    |(2000,[286,695,1138,1193,1604],[1.0,1.0,1.0,1.0,1.0])                |
+-----+------------------------------------+---------------------------------------------+---------------------------------------------------------------------+

每一个单词被哈希成了一个不同的索引值。以”I heard about Spark and I love Spark”为例，输出结果中2000代表哈希表的桶数，“[240,333,1105,1329,1357,1777]”分别代表着“heard, about, i, spark, and, love”的哈希值，“[1.0,1.0,2.0,2.0,1.0,1.0]”为对应单词的出现次数，无序。

2.4、IDF修正词频特征向量

可以看到，分词序列被变换成一个稀疏特征向量，其中每个单词都被散列成了一个不同的索引值，特征向量在某一维度上的值即该词汇在文档中出现的次数。
最后，使用IDF来对单纯的词频特征向量进行修正，使其更能体现不同词汇对文本的区别能力，IDF是一个Estimator，调用fit()方法并将词频向量传入，即产生一个IDFModel。

IDF idf = new IDF().setInputCol("rawFeatures").setOutputCol("features");
IDFModel idfModel = idf.fit(featurizedData);
2.5、得到单词对应的TF-IDF度量值

很显然，IDFModel是一个Transformer，调用它的transform()方法，即可得到每一个单词对应的TF-IDF度量值。

Dataset<Row> rescaledData = idfModel.transform(featurizedData);
rescaledData.show(false);

输出结果：

+-----+------------------------------------+---------------------------------------------+---------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|label|sentence                            |words                                        |rawFeatures                                                          |features                                                                                                                                                                       |
+-----+------------------------------------+---------------------------------------------+---------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|0    |I heard about Spark and I love Spark|[i, heard, about, spark, and, i, love, spark]|(2000,[240,333,1105,1329,1357,1777],[1.0,1.0,2.0,2.0,1.0,1.0])       |(2000,[240,333,1105,1329,1357,1777],[0.6931471805599453,0.6931471805599453,1.3862943611198906,0.5753641449035617,0.6931471805599453,0.6931471805599453])                       |
|0    |I wish Java could use case classes  |[i, wish, java, could, use, case, classes]   |(2000,[213,342,489,495,1329,1809,1967],[1.0,1.0,1.0,1.0,1.0,1.0,1.0])|(2000,[213,342,489,495,1329,1809,1967],[0.6931471805599453,0.6931471805599453,0.6931471805599453,0.6931471805599453,0.28768207245178085,0.6931471805599453,0.6931471805599453])|
|1    |Logistic regression models are neat |[logistic, regression, models, are, neat]    |(2000,[286,695,1138,1193,1604],[1.0,1.0,1.0,1.0,1.0])                |(2000,[286,695,1138,1193,1604],[0.6931471805599453,0.6931471805599453,0.6931471805599453,0.6931471805599453,0.6931471805599453])                                               |
+-----+------------------------------------+---------------------------------------------+---------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

Dataset<Row> data = rescaledData.select("features","label");
data.show(false);

输出结果：

+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+-----+
|features                                                                                                                                                                        |label|
+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+-----+
|(2000,[240,333,1105,1329,1357,1777],[0.6931471805599453,0.6931471805599453,1.3862943611198906,0.5753641449035617,0.6931471805599453,0.6931471805599453])                        |0    |
|(2000,[213,342,489,495,1329,1809,1967],[0.6931471805599453,0.6931471805599453,0.6931471805599453,0.6931471805599453,0.28768207245178085,0.6931471805599453,0.6931471805599453]) |0    |
|(2000,[286,695,1138,1193,1604],[0.6931471805599453,0.6931471805599453,0.6931471805599453,0.6931471805599453,0.6931471805599453])                                                |1    |
+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+-----+

可以看到，特征向量已经被其在语料库中出现的总次数进行了修正，通过TF-IDF得到的特征向量，在接下来可以被应用到相关的机器学习方法中。

参考资料：http://spark.apache.org/docs/latest/ml-features.html#tf-idf

辣椒种子
关注
  • 38
    点赞
  • 踩
  • 38
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 10
    评论
专栏目录
基于 TF-IDF 的文本分类（txtClassify.py）
07-23
使用了中文文本数据集，并使用jieba库进行中文分词处理。 data_preprocess()函数用于读取数据和对数据进行预处理，比如去除数字、标点符号、停用词等。 calculate_tfidf()函数用于计算文本的TF-IDF特征。 text_classification_1()函数是一个分类器的训练和评估过程，使用了K近邻、支持向量机、多层感知器等分类器，并使用sklearn库中的相关方法。 text_classification_2()函数与text_classification_1()相似，但使用了sklearn库中的TfidfVectorizer来提取TF-IDF特征。 tfidf_train()函数用于训练TF-IDF特征提取器，并将特征提取器保存到磁盘。 tfidf_test()函数用于加载保存在磁盘上的TF-IDF特征提取器，并使用它来处理测试数据。 svm_grid()函数用于使用网格搜索法寻找最佳的支持向量机模型。 最后，主程序部分调用了以上的函数来完成文本分类任务，并输出了分类结果的准确率、精确度、召回率和F1值的平均值。
tf-idf实现文本向量化和关键词提取——python版本
zzl12880的博客
07-18 704
import jieba import math text1 = "女排北京奥运会夺冠" text2 = "北京奥运会的羽毛球男单决赛" text3 = "中国队女排夺北京奥运会金牌重返巅峰观众欢呼女排女排女排" text4 = "公告显示闻泰科技与格力创投将共同出资设立珠海得尔塔科技有限公司作为指定收购主体然后以现金方式购买" text5 = "资料显示格力创投成立于2017年格力集团全资控股的一家投资机构共有1次公开投资事件参投企业主要以科技、医药为主" text6 = "欧菲光主要依靠这一相关业务成.
自然语言处理NLP：tf-idf原理、参数及实战
最新发布
csdn1561168266的博客
03-14 1662
大家好，tf-idf作为文体特征提取的常用统计方法之一，适合用于文本分类任务，本文将从原理、参数详解和实际处理方面介绍tf-idf，助力tf-idf用于文本数据分类。tf 表示词频，即某单词在某文本中的出现次数与该文本中所有词的词数的比值，idf表示逆文本频率（语料库中包含某单词的文本数、倒数、取log），tf-idf则表示词频 * 逆文档频率，tf-idf认为词的重要性随着它在文本中出现的次数成正比增加，但同时会随着它在整个语料库中出现的频率成反比下降。
基于上下文特征,使用机器学习以及深度学习的方法对复杂长句进行切分.zip
02-20
本实验采用机器学习和深度学习方法对汉语篇章小句进行切分。把逗号和句号作为句子的候选切分点，把已标注好子句边界信息的CTB6.0中前100篇文档作为训练集和验证集。在使用机器学习方法分类前，采用词袋模型和TF-IDF模型对每一个候选句子切分点提取其上下文特征。由于训练集小句共有3066个，整个文集中不同词语的数量非常大，而单个文件使用的词语数量远远少于文集的词语个数，所以采用词袋模型和TF-IDF模型构造的向量维度较大而且每个向量中大多数的值为0，是高维稀疏数据。此时采用KNN、决策树、支持向量机、神经网络等分类模型会耗费大量的机器内存和运算时间。所以，本实验选择了朴素贝叶斯模型和逻辑回归模型对候选切分点进行分类。再使用深度学习在自然语言处理领域的新兴模型BERT针对以上方法暴露的缺点做出改进。
基于TF-IDF算法个人文件管理系统（附Python源码）机器学习+人工智能+神经网络
05-26
1.项目通过使用 TF-IDF 算法，对新文件内词频与已构筑各学科语料库的词频进行对比，使用余弦相似度计算高频词的相关系数，匹配到最相近的学科，实现将新下载的课件自动分类整理。 2.项目运行环境：需要 Python 3.8 及以上配置。安装jieba库、openpyxl库 3.项目包括 3 个模块：数据预处理、词频计算与数据处理、数据计算与对比验证。首先语料库从已经分好类的文件夹中采集，提取所有文件的内容汇总至一个文件并转化为txt，便于词频统计操作；接着将各语料库与新文件的内容进行分词并计算，数据写入 excel 文档进行数据处理，词频部分使用 jieba 库进行分词，数据处理部分对 xlsx 文件进行操作openpyxl 库。最后将分词的结果，即高频词词名和频数分别写入 excel，使用 openpyxl 库。在得到新文档与各语料库词频数据后，使用 excel 中的函数，将数据进行再加工后，新文档词与每一个语料库对比，计算相关系数，并得到属于新文件的正确类别。 4.准确率评估：
（3-7）特征提取：TF-IDF特征
码农三叔
03-02 1206
TF-IDF是“词频-逆文档频率”（Term Frequency-Inverse Document Frequency）的缩写，是一种用于信息检索和文本挖掘的常用文本特征提取方法。TF-IDF的目标是确定一个文档中词汇的重要性，以便帮助理解文档的主题或进行文本相关性排序。词频（Term Frequency，TF）：词频表示在文档中某个词汇出现的次数。通常，词频越高，该词汇在文档中的重要性越大。
字典特征提取、文本特征提取、jieba分词处理、tf-idf文本特征提取概念及代码实现
我的个人博客
01-06 1530
字典特征提取、文本特征提取、jieba分词处理、tf-idf文本特征提取概念及代码实现，特征提取：将任意数据（如文本或图像）转换为可用于机器学习的数字特征，特征值化是为了计算机更好的去理解数据
详解TF-IDF
real_ilin的博客
01-12 8271
IF-IDF概念 TF-IDF是NLP中常用的方法，也比较经典。IF-IDF的思想：如果一个词在文档中出现了很多次，但是这个词在其它文档中出现的次数很少，则这个词对这篇文档很重要，在一定程度上可以代表这个文档的关键信息。所以在网页搜索、关键词提取中常用到IF-IDF。 TF-IDF就是tf−idf(t,d)=tf(t,d)×idf(t)tf-idf(t,d)=tf(t,d) \times idf(...
机器学习-文本特征提取（TF-IDF）：使用人工智能探索文本信息
m0_61281610的博客
08-06 563
在当今信息爆炸的时代，文本数据的规模不断增长，从社交媒体帖子到新闻文章，都蕴含着无尽的宝贵信息。为了从这些海量的文本数据中提取有价值的信息，机器学习领域涌现出了许多有效的技术。其中，TF-IDF（Term Frequency-Inverse Document Frequency）是一种常用且有效的文本特征提取方法。本文将深入探讨TF-IDF的原理、应用和实际案例，带你走进文本特征提取的精彩世界。
NLP扎实基础3：TF-IDF文本特征提取
呆萌的代Ma
05-04 1626
TF-IDF简介 TF-IDF使用流程 见上图，步骤如下： 根据全部语料每个词对应的TF-IDF值 每个句子对应全部语料的one-hot编码，将TF-IDF编码作为特征 Python代码 流程很简单，就不复现了，这里有两个使用的方式，第一种是梳理整个流程，第二种是工程上能够简化代码的写法： def get_text(): sentence_list = [ # 假设这是全部的训练语料 "nlp drives computer programs that translate t
文本挖掘预处理之TF-IDF
weixin_30497527的博客
04-11 360
　　　　在文本挖掘预处理之向量化与Hash Trick中我们讲到在文本挖掘的预处理中，向量化之后一般都伴随着TF-IDF的处理，那么什么是TF-IDF，为什么一般我们要加这一步预处理呢？这里就对TF-IDF的原理做一个总结。 1. 文本向量化特征的不足 　　　　在将文本分词并向量化后，我们可以得到词汇表中每个词在各个文本中形成的词向量，比如在文本挖掘预处理之向量化与Hash Trick这篇文章...
yelp-review-rating-prediction:针对Yelp数据集挑战的LDA，TF-IDF和机器学习模型
05-24
Yelp评论评级预测概括该项目的目的是使用评论文字来预测Yelp上的评论星级。 我们构建了以下模型，这些模型对评论数据进行文本分析以预测星级... 在至少一个示例中使用以下模块： Python 2.7 NumPy 大熊猫西皮scikit学习
基于Python的中文本关键词抽取源码(分别使用TF-IDF、TextRank、Word2Vec词聚类三种方法).zip
12-20
（2）基于机器学习的关键词提取方法 该方法包括了SVM、朴素贝叶斯等有监督学习方法，以及K-means、层次聚类等无监督学习方法。在此类方法中，模型的好坏取决于特征提取，而深度学习正是特征提取的一种有效方式。由...
NLP学习__task3： : 特征提取：TF-IDF、词向量表示、互信息原理、特征筛选
Someone&的博客
03-07 4650
1 TF-IDF原理 TF-IDF原理在另一篇博客：关键词抽取模型 已经提及，这里不在重复。 2 文本矩阵化 笔者理解的文本矩阵化，即将文本进行“词向量化”。这里简述常见的语言表示模型(词嵌入、句表示、篇章表示)。 词向量类型：1）一个词一列向量的表示方法有Hash算法和word2vec。hash算法将词打散成(01010101)的数值，word2vec则同时打散定义成了向量。wor...
（6-5-3）文本数据的特征提取：TF-IDF特征
码农三叔
01-11 366
在这个例子中，首先使用 TfidfVectorizer 创建 TF-IDF 特征表示，然后将结果转换为 NumPy 数组，并使用 tf.convert_to_tensor 将其转换为 TensorFlow 张量。TF-IDF 考虑了一个单词在文本中的频率（TF），以及它在整个文集中的稀有程度（IDF）。在 TensorFlow 中，TF-IDF 特征提取同样需要使用 Scikit-learn 来计算 TF-IDF 值，然后可以将结果转换为 TensorFlow 张量进行模型训练。
自然语言处理：TF-IDF（基于python）
weixin_48857697的博客
10-30 474
基于python的TF-IDF算法实现！
NLP之文本特征提取详解
tt丫的博客
03-03 9957
深度学习入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。 一、词袋模型（Bag of Words, BoW） 1、目的 将不定长的文本型数据转化为定长的数值型数据，方便用作机器学习模型的输入 2、主要思想 建立一个词典库，其中包含训练语料库的所有词语，每个词语都对应一个唯一识别的编号，利用one-hot文本来表示；文档的词向量维度与单词向量的维度相同，每个位置的值是对应位置词语在文档中出现的次数。 3、具体算法步骤 （1）对所有文本进行单
中文文本特征提取--TFIDF算法实现
weixin_45948508的博客
03-16 909
IDF是逆向文件频率（Inverse Document Frequency），表示文本中某个特别的词的IDF，它的计算方式由数据集中总的文本数目除以包含该词语的文本数目得到商，并对其进行以10为底对数运算，得到IDF值，如公式4-4所示。TF-IDF实际上是：TF * IDF，使用某个文本中的含有词语频率高的频率，以及该词语在整个文件集合中的低文件频率，通过计算产生出高权重的TF-IDF。（3）TF-IDF中的IDF部分仅考虑了特征字和其所产生的文字数量的相关性，而忽视了一类中各属性项的分布。
jupyter 使用TF-IDF特征提取
05-29
好的，针对您的问题，我可以给您一些思路和建议。TF-IDF 是一种常用的文本特征提取方法，可以将文本转化为特征向量，用于机器学习算法的训练。下面简单介绍一下如何使用 TF-IDF 特征提取方法将文本转化为特征向量。 1. 准备数据集：将需要进行情感分析的文本进行分词处理，并将其和对应的情感标签构建成数据集。 2. 数据预处理：对数据进行预处理，如去除停用词、分词、词性标注等。 3. 特征提取：使用 TF-IDF 特征提取方法将文本转化为特征向量。可以使用 Python 中的 sklearn.feature_extraction.text.TfidfVectorizer 类来实现。具体代码示例如下： ``` python from sklearn.feature_extraction.text import TfidfVectorizer # 构建 TF-IDF 特征提取器 tfidf_vec = TfidfVectorizer() # 训练 TF-IDF 特征提取器，并转化为稀疏矩阵 tfidf_matrix = tfidf_vec.fit_transform(corpus) # 将稀疏矩阵转化为数组 tfidf_array = tfidf_matrix.toarray() ``` 其中，corpus 表示分词后的文本列表，tfidf_array 表示转化后的特征向量数组。 4. 数据划分：将数据集划分为训练集和测试集。 5. 训练模型：使用机器学习算法对训练集进行训练，并得到模型。 6. 模型评估：使用测试集对训练好的模型进行评估，计算准确率、召回率、F1 值等指标。 7. 应用模型：使用模型对新的文本进行情感分析，得到相应的情感标签。 需要注意的是，TF-IDF 特征提取方法可以有效地减少高频词和低频词对模型的干扰，提高特征的区分度。但是，在使用过程中也需要注意调整词频阈值和 IDF 阈值等参数。 希望这些信息对您有所帮助。如果您有其他问题，欢迎继续提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

辣椒种子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值