【机器学习】文本数据的向量化(TF-IDF)---样本集实例讲解+python实现

最新推荐文章于 2023-09-06 15:33:39 发布
VIP文章 最新推荐文章于 2023-09-06 15:33:39 发布
阅读量1.3w 收藏 81
点赞数 14
分类专栏： 人工智能 机器学习 跟我一起学机器学习 Machine Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012421852/article/details/79575740
版权

1.文本数据的向量化

1.1名词解释

CF：文档集的频率，是指词在文档集中出现的次数

DF：文档频率，是指出现词的文档数

IDF：逆文档频率，idf = log(N/(1+df))，N为所有文档的数目，为了兼容df=0情况，将分母弄成1+df。

TF：词在文档中的频率

TF-IDF：TF-IDF= TF*IDF

1.2文本数据样本集

为了讲解文本数据的向量化，假设我们有4个文本，所有文本一共有6个不同的词，如下所示。

             
doc1 iphone   guuci huawei watch huawei
doc2 huawei watch iphone watch iphone gucci
doc3 skirt skirt   skirt flower  
doc4 watch   watch   huawei  

1.3计算汇总

  iphone watch gucci huawei skirt flower
doc1  TF 1/5 1/5 1/5 2/5 0 0
doc2 TF 2/6 2/6 1/6 1/6 0 0
doc3 TF 0 0 0 0 3/4 1/4
doc4 TF 0 2/3 0
最低0.47元/天 解锁文章
CV_ML_DP
关注
  • 14
    点赞
  • 踩
  • 81
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
机器学习文本分类基于TF-IDF+手写朴素贝叶斯
02-08
人工智能大作业，文本分类，TF-IDF+手写朴素贝叶斯。本项目利用分类算法实现对文本的数据挖掘，主要包括：1. 语料库的构建，主要从搜狗语料库、复旦大学中文语料库等搜集文章作为训练集和测试集；2. 语料库的数据预处理；3. 选择分类算法(朴素贝叶斯、支持向量机)，训练文本分类器，理解所选的分类算法的建模原理、实现过程和相关参数的含义；4. 对测试集的文本进行分类；5. 对测试集的分类结果利用正确率和召回率进行分析评价。 个人独立实现实验； 文本类别数：≥10 类； 训练集文档数：≥ 50000 篇；每类平均 5000 篇； 测试集文档数：≥ 50000 篇；每类平均 5000 篇； 使用合适的降维方法； 判断停用词表是否合理并作出适当调整； 改进加权方法和其他改进方法； 朴素贝叶斯分类器要手动编写完成。
使用 TF-IDF 算法将文本向量化
guguo666的博客
11-12 3601
TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。TF是词频(Term Frequency)，IDF是逆文本频率指数(Inverse Document Frequency)。提示：以下是本篇文章正文内容，下面案例可供参考TF-IDF算法介绍及实现TF-IDF算法详解百度百科——tf-idf。
2020-06-03 nlp_02之文本向量化的几种方式：one-hot, 文本相似度（欧氏距离、余弦相似度）, tf-idf
qwe1110的博客
06-03 1679
one-hot P30 通过构建词典的顺序，找出对应单词的位置， 词典：中文有20万-30万个常用词， rnn和lstm中，也有使用字符集的，常用字符大概5000个 例子： 词典（只有7个单词，即7个维度）：[今天， 天气， 不错， 挺，风和日丽，的， 明天] 每个单词的表示： 今天：[1, 0, 0, 0, 0, 0, 0] 不错：[0, 0, 1, 0, 0, 0, 0] 的： [0, 0, 0, 0, 0, 1, 0] 句子的表示：两种方式： 1、boolean， 不...
使用Python中的 CountVectorizer函数和TfidfTransformer函数进行文本TF-IDF向量化方法详解
m0_48901857的博客
08-03 1536
使用Python中的 CountVectorizer函数和TfidfTransformer函数进行文本TF-IDF向量化方法详解
自然语言处理之文本向量化（词袋模型、TF-IDF）
永远飞翔的鸟
03-07 6806
目录 1.词袋模型（Bag of words，简称 BoW ） 2.词频向量化 3.TF-IDF处理 3.1TF 3.2IDF 4 CountVectorizer与TfidfVectorizer的异同： 5.sklearn中TfidfTransformer和TfidfVectorizer对tf-idf的计算方式 6.实战 文本数据预处理的第一步通常是进行分词，分词后会进行...
自然语言处理系列之：文本向量化
Viper的程序员修炼手册
11-06 2055
大纲 文本向量化常用算法介绍，word2vec及doc2vec 向量化方法的模型训练和使用 7.1 文本向量化概述 即将文本表示为一系列能表达文本语义的向量； 7.2 向量化算法word2vec 词袋（Bag of Word）模型：最早的以词语为基本处理单元的文本向量化方法； 词袋模型存在的问题： 维度灾难 无法保留词序信息 存在语义鸿沟问题 神经网络语言模型（NNLM） 大致操作步骤：从语料库中收集一系列长度为nnn的文本序列wi−(n−1),…,wi−1,wiw_{i-(n-1
TF-IDF文本向量化
weston95的博客
09-06 344
tfidf_vectorizer = TfidfVectorizer(max_features=1000) # 选择前1000个最重要的词汇。# 将TF-IDF矩阵转换为DataFrame。# 将TF-IDF特征保存到新的Excel文件。# 创建一个TF-IDF向量化器。# 将清洗后的文本进行向量化。# 读取处理后的数据。
文本TF-IDF特征获取方法及文本向量化方法
ai-july
03-05 4571
一 获取文本的TF-IDF特征 1. 文本向量化特征的不足 　　　　在将文本分词并向量化后，我们可以得到词汇表中每个词在各个文本中形成的词向量，比如在文本挖掘预处理之向量化与Hash Trick这篇文章中，我们将下面4个短文本做了词频统计： corpus=["I come to China to travel", "This is a car polupar in China",...
TF－IDF原理详解以及python实践
自然语言处理技术
12-25 9243
TF-IDF（termfrequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用，作为文件与用户查询之间相关
文本向量化
woshiliulei0的专栏
11-13 545
一、简介 二、分类 1.one-hot(将词向量化) 这最简单的一种想法，就是对一句话用one-hot编码:比如对于这句话： ohn likes to watch movies,Mary likes too. John likes to watch movies,Mary likes too. John also likes to watch football games. John also l...
使用Gensim库对文本进行词袋、TF-IDF和n-gram方法向量化处理
weixin_44804517的博客
04-09 1452
自然语言处理作业（4.5） 本次作业的要求是：通过处理部分新闻文本数据的test.txt，使用spacy和Gensim模块包在进行数据预处理后，使用词袋、TF-IDF和n-gram三种方法向量化，并分别输出成三份txt。 对于存有部分新闻文本的test.txt文件，先对该文件进行去除停用词等相关处理如下： import spacy from spacy.lang.zh.stop_words import STOP_WORDS import pandas as pd from gensim import co
python TF-IDF算法实现文本关键词提取
12-31
在我们得到词频（TF）和逆文档频率（IDF）以后，将两个值相乘，即可得到一个词的TF-IDF值，某个词对文章的重要性越高，其TF-IDF值就越大，所以排在最前面的几个词就是文章的关键词。 TF-IDF算法的优点是简单快速，...
人工智能大作业基于TF-IDF+手写朴素贝叶斯实现文本分类python源码+实验报告.zip
08-10
人工智能大作业基于TF-IDF+手写朴素贝叶斯实现文本分类python源码+实验报告.zip 人工智能大作业基于TF-IDF+手写朴素贝叶斯实现文本分类python源码+实验报告.zip 人工智能大作业基于TF-IDF+手写朴素贝叶斯实现文本...
机器学习文本分类基于TF-IDF+朴素贝叶斯文本数据的分类与分析源码（高分大作业）.zip
最新发布
04-18
机器学习文本分类基于TF-IDF+朴素贝叶斯文本数据的分类与分析源码（高分大作业）.zip本资源中的源码都是经过本地编译过可运行的，评审分达到95分以上。资源项目的难度比较适中，内容都是经过助教老师审定过的能够...
基于Python实现TF-IDF矩阵表示(人工智能实验)【100011921】
04-19
本实验文档详细叙述了TF-IDF算法原理、伪代码、TF矩阵的构造、IDF向量的构造、TF-IDF矩阵的计算和文件输出以及实验结果的分析这些内容，希望对大家有所帮助。
【机器学习】汇总详解：矩阵的迹以及迹对矩阵求导
热门推荐
蔚蓝的天空Tom
03-17 3万+
矩阵的迹概念        矩阵的迹 就是 矩阵的主对角线上所有元素的和。        矩阵A的迹，记作tr(A)，可知tra(A)=∑aii，1<=i<=n。定理：tr(AB) = tr(BA)证明定理：tr(ABC) = tr(CAB) = tr(BCA)    这个是tr(AB)=tr(BA)的推广定理，很容易证明。    根据定理tr(AB)=tr(BA)可知：       ...
【机器学习】【线性代数】正交基、标准正交基、正交矩阵，正交变换等数学知识点
蔚蓝的天空Tom
05-28 3万+
1.标准正交基2.正交矩阵3.正交变换4.正交矩阵 举例5.正交变换 举例(end)
【机器学习】【逻辑回归】Logistic函数/Sigmoid函数的详细公式推导
蔚蓝的天空Tom
03-19 3万+
sigmoid函数的数学公式                sigmoid函数的因变量x取值范围是-∞到+∞，(-∞，+∞)，但是sigmoid函数的值域是(0, 1)。不管x取什么值其对应的sigmoid函数值一定会落到(0,1)范围内~~~漂亮的logistic 曲线sigmoid函数对应的图形就是logistic曲线，logistic曲线对应的函数就是sigmoid函数。下面我们用通过spy...
【机器学习】【PCA-1】PCA基本原理和原理推导 + PCA计算步骤讲解 + PCA实例展示数学求解过程
蔚蓝的天空Tom
05-26 2万+
1.PCA主成分分析原理2.PCA流程3.PCA实例讲解(end)
写出完整的使用贝叶斯分类垃圾邮件，使用CountVectorizer进行向量化并并采用TF-IDF加权的代码
08-21
### 回答1： from sklearn.feature_extraction.text import CountVectorizer from sklearn.feature_extraction.text import TfidfTransformer from sklearn.naive_bayes import MultinomialNBcount_vect = CountVectorizer() X_train_counts = count_vect.fit_transform(email_corpus) tfidf_transformer = TfidfTransformer() X_train_tfidf = tfidf_transformer.fit_transform(X_train_counts) clf = MultinomialNB().fit(X_train_tfidf, email_labels) ### 回答2： 贝叶斯分类是一种常用的机器学习算法，用于分类问题。在垃圾邮件分类中，可以使用贝叶斯分类器来自动将邮件分类为垃圾邮件或非垃圾邮件。 首先，我们需要导入相关的库和数据集。这里使用sklearn库的CountVectorizer和TfidfTransformer来进行向量化和TF-IDF加权。 ```python # 导入相关库 from sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer from sklearn.naive_bayes import MultinomialNB from sklearn.pipeline import Pipeline # 创建数据集 data = [ ("这是一封非垃圾邮件", "非垃圾邮件"), ("这是一封垃圾邮件", "垃圾邮件"), ("垃圾邮件是个问题", "垃圾邮件"), ("非垃圾邮件比较好", "非垃圾邮件") ] # 将数据集分为邮件内容和标签 X, y = zip(*data) # 创建Pipeline pipeline = Pipeline([ ('vect', CountVectorizer()), # 向量化 ('tfidf', TfidfTransformer()), # TF-IDF加权 ('clf', MultinomialNB()) # 使用贝叶斯分类器 ]) # 训练模型 model = pipeline.fit(X, y) # 预测样本 test_email = ["这是一封测试邮件"] predicted = model.predict(test_email) print(f"预测结果：{predicted}") ``` 这段代码首先创建了一个数据集，其中包含了邮件内容和标签。然后，使用sklearn的Pipeline函数构建了一个由向量化、TF-IDF加权和贝叶斯分类器组成的模型。通过调用fit方法，可以对模型进行训练。最后，使用predict方法对测试样本进行预测，并输出预测结果。 以上就是使用贝叶斯分类器、CountVectorizer进行向量化和TF-IDF加权的完整代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值