TF-IDF算法介绍，简单模拟，以及在图数据中应用

最新推荐文章于 2024-05-03 18:30:12 发布
最新推荐文章于 2024-05-03 18:30:12 发布
阅读量1k 收藏 2
点赞数 1
分类专栏： 算法学习 Neo4j从入门到放弃 文章标签： TF-IDF Neo4j MySQL 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Xx__WangQi/article/details/118001776
版权

目录

一、百度百科关于TF-IDF的算法介绍

二、简单模拟

2.1、创建表以及数据

2.2、模拟实现TF-IDF的统计算分

三、图数据中应用

3.1、图数据模型

3.2、计算文档中关键词的TF-IDF的分值

3.2.1、cypher实现TF-IDF 分数计算算法

3.2.2、存储过程实现

3.3、优化3.2的查询

3.3.1、cypher优化去除ybCount计算的实现

3.3.2、优化去除ybCount计算的存储过程实现

一、百度百科关于TF-IDF的算法介绍

https://baike.baidu.com/item/tf-idf/8816134?fr=aladdin

二、简单模拟

既然是简单模拟，我们就用人们最常用的一种工具MySQL去模拟一下这个算法可以实现的效果

 

2.1、创建表以及数据

article_keywords.sql

CREATE TABLE `article_keywords` (
  `id` int NOT NULL AUTO_INCREMENT,
  `article` varchar(255) NOT NULL,
  `keyword` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=126 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;


INSERT INTO `article_keywords` VALUES ('113', '悟空悟空芭蕉扇牛魔王', '悟空');
INSERT INTO `article_keywords` VALUES ('114', '悟空悟空芭蕉扇牛魔王', '悟空');
INSERT INTO `article_keywords` VALUES ('115', '悟空悟空芭蕉扇牛魔王', '芭蕉扇');
INSERT INTO `article_keywords` VALUES ('116', '悟空悟空芭蕉扇牛魔王', '牛魔王');
INSERT INTO `article_keywords` VALUES ('117', '悟空红孩儿红孩儿三昧真火三昧真火', '悟空');
INSERT INTO `article_keywords` VALUES ('118', '悟空红孩儿红孩儿三昧真火三昧真火', '红孩儿');
INSERT INTO `article_keywords` VALUES ('119', '悟空红孩儿红孩儿三昧真火三昧真火', '红孩儿');
INSERT INTO `article_keywords` VALUES ('120', '悟空红孩儿红孩儿三昧真火三昧真火', '三昧真火');
INSERT INTO `article_keywords` VALUES ('121', '悟空红孩儿红孩儿三昧真火三昧真火', '三昧真火');
INSERT INTO `article_keywords` VALUES ('122', '悟空三昧真火火眼金睛', '三昧真火');
INSERT INTO `article_keywords` VALUES ('123', '悟空三昧真火火眼金睛', '火眼金睛');
INSERT INTO `article_keywords` VALUES ('124', '悟空三昧真火火眼金睛', '悟空');

2.2、模拟实现TF-IDF的统计算分

实现sql

#实现TF-IDF的统计算分值
SELECT * FROM (
	#计算TF-IDF的值
	SELECT *,(TF * IDF)as 'TF-IDF' FROM (
		#分别计算TF和IDF的值
		SELECT *,(keyword_in_current_article_count / current_article_keyword_count) as TF,(article_count / keyword_in_all_article_count) as IDF FROM(
			#查询表中数据以及联查计算TF-IDF所需的各种聚合值以及直接聚合文章总数量的值
			SELECT article_keywords.*,keyword_in_current_article_count.keyword_in_current_article_count,current_article_keyword_count.current_article_keyword_count,keyword_in_all_article_count.keyword_in_all_article_count,(SELECT COUNT(1) FROM (SELECT article FROM article_keywords GROUP BY article) as a)as article_count FROM article_keywords as article_keywords 
			#联查关键词在当前文章中出现的频率的聚合表
			LEFT JOIN (SELECT article,keyword,COUNT(1) as keyword_in_current_article_count FROM article_keywords GROUP BY article,keyword)as keyword_in_current_article_count
			ON article_keywords.article = keyword_in_current_article_count.article AND article_keywords.keyword = keyword_in_current_article_count.keyword
			#联查当前文章中所有关键词的个数的聚合表
			LEFT JOIN (SELECT article,COUNT(keyword) as current_article_keyword_count FROM article_keywords GROUP BY article) as current_article_keyword_count
			ON article_keywords.article = current_article_keyword_count.article
			#联查出现此关键词的文章个数的聚合表
			LEFT JOIN (SELECT a.keyword as keyword,COUNT(article) keyword_in_all_article_count FROM (
				SELECT article,keyword FROM article_keywords GROUP BY article,keyword
			)as a GROUP BY a.keyword)as keyword_in_all_article_count
			ON article_keywords.keyword = keyword_in_all_article_count.keyword
		) as article_keywords_tf_idf
	) as article_keywords_tfidf
)as article_keywords_tfidf_order 
#WHERE keyword = '三昧真火'
GROUP BY article,keyword ORDER BY article_keywords_tfidf_order.`TF-IDF` DESC

结果样例

这只是用大家都熟悉的一个MySQL做一个简单的模拟实现的效果

当然，在实际应用中的场景比这要复杂的多，而且实际应用也不会使用MySQL来实现

下面我们来看看在图数据中的一个实际应用场景

 

三、图数据中应用

像我们常见的文档检索，比如ES的分词+倒排索引，通过对搜索内容的分词，对应找到包含这些关键词的文档，并且对结果进行一个计分排序，返回给用户。

这里我们用图数据库来做这样的事。

数据大概是这样的：

我们有文档节点，关键词节点（通过对文档分词的结果），以及他们的包含关系。

 

3.1、图数据模型

(文档{详细属性})-[包含{词频，TF-IDF分值}]->(关键词)

 

3.2、计算文档中关键词的TF-IDF的分值

3.2.1、cypher实现TF-IDF 分数计算算法

指定研报以及研报中的一个关键词计算TF-IDF分数
// 获取研报以及关键词，计算该词在这篇研报的TF-IDF分数
// 获取研报`HDOC6a0250e61f91a856cd5dd6c39327fa57`和关键词`HCEPT69305efd9563834a4e7b67d6d5ac4674`，以及该关键词在研报中出现的次数count
MATCH (yb:研报)-[r:包含]->(kw:关键词) WHERE yb.hcode='HDOC6a0250e61f91a856cd5dd6c39327fa57' AND kw.hcode='HCEPT69305efd9563834a4e7b67d6d5ac4674'
WITH ID(yb) AS ybId,r.count AS count,ID(kw) AS kwId
// 获取该研报中关键词总数
MATCH (yb)-[r:包含]->(kw:关键词) WHERE ID(yb)=ybId
WITH ybId,SUM(r.count) AS kwCount,count,kwId
// 计算TF-词频(Term Frequency)
WITH ybId,1.0*count/kwCount AS tf,kwId
// 获取研报总数
MATCH (yb:研报) WITH COUNT(*) AS ybCount,ybId,tf,kwId
// 该关键词出现在多少篇研报中
MATCH (yb:研报)-[:包含]->(kw:关键词) WHERE ID(kw)=kwId WITH COUNT(yb) AS ybKwCount,ybCount,ybId,tf,kwId
// 计算IDF-逆文本频率指数(Inverse Document Frequency)
WITH tf,log10(ybCount/ybKwCount) AS idf,ybId,kwId
RETURN ybId,kwId,tf*idf AS `TF-IDF`

3.2.2、存储过程实现

CALL apoc.custom.asProcedure(
'yanbao.kw.tfidf',
'// 获取研报以及关键词，计算该词在这篇研报的TF-IDF分数
// 获取研报`HDOC6a0250e61f91a856cd5dd6c39327fa57`和关键词`HCEPT69305efd9563834a4e7b67d6d5ac4674`，以及该关键词在研报中出现的次数count
MATCH (yb:研报)-[r:包含]->(kw:关键词) WHERE yb.hcode=$yanbaoHcode AND kw.hcode=$kwHcode 
WITH ID(yb) AS ybId,r.count AS count,ID(kw) AS kwId 
// 获取该研报中关键词总数
MATCH (yb)-[r:包含]->(kw:关键词) WHERE ID(yb)=ybId 
WITH ybId,SUM(r.count) AS kwCount,count,kwId 
// 计算TF-词频(Term Frequency)
WITH ybId,1.0*count/kwCount AS tf,kwId 
// 获取研报总数
MATCH (yb:研报) WITH COUNT(*) AS ybCount,ybId,tf,kwId 
// 该关键词出现在多少篇研报中
MATCH (yb:研报)-[:包含]->(kw:关键词) WHERE ID(kw)=kwId WITH COUNT(yb) AS ybKwCount,ybCount,ybId,tf,kwId 
// 计算IDF-逆文本频率指数(Inverse Document Frequency)
WITH tf,log10(ybCount/ybKwCount) AS idf,ybId,kwId 
RETURN ybId,kwId,tf*idf AS tfidf,$yanbaoHcode as yanbaoHcode,$kwHcode as kwHcode',
'READ',
[['yanbaoHcode','STRING'],['kwHcode','STRING'],['ybId','LONG'],['kwId','LONG'],['tfidf','DOUBLE']],
[['yanbaoHcode','STRING'],['kwHcode','STRING']],
'计算研报中某关键词TF-IDF分数'
);

调用过程结果

CALL custom.yanbao.kw.tfidf('HDOC6a0250e61f91a856cd5dd6c39327fa57','HCEPT69305efd9563834a4e7b67d6d5ac4674') YIELD yanbaoHcode,kwHcode,ybId,kwId,tfidf RETURN yanbaoHcode,kwHcode,ybId,kwId,tfidf

结果是实现了，但是可以发现，一次计算耗时400ms~700ms

我们的模型数据集大概有一亿左右，这个效率要计算到猴年马月

 

3.3、优化3.2的查询

对于大批量使用这个过程的情况下的优化

这个存储过程的算法的计算，需要用到的值为4个【当前关键词在当前研报中包含的数量，当前研报中所包含的关键词的个数，研报的总数量，包含当前关键词的研报数量】

  1. 当前关键词在当前研报中包含的数量：(yb:研报)-[r:包含]->(kw:关键词)，可以直接获取，无需消耗
  2. 当前研报中所包含的关键词的个数：存量计算时，可以直接聚合计算每个研报包含的关键词总数，加载至内存(耗时巨大，不采取)
  3. 研报的总数量：存量计算时，可以直接聚合研报总数量的值加载至内存（采用）
  4. 包含当前关键词的研报数量:存量计算时，可以直接聚合关键词的研报数量加载至内存（耗时巨大，不采取）

3.3.1、cypher优化去除ybCount计算的实现

//直接获取研报数量，免去在过程中每次都要获取研报数量
MATCH (n:研报) RETURN COUNt(n) as ybCount//1081720

// 获取研报以及关键词，计算该词在这篇研报的TF-IDF分数
// 获取研报`HDOC6a0250e61f91a856cd5dd6c39327fa57`和关键词`HCEPT69305efd9563834a4e7b67d6d5ac4674`，以及该关键词在研报中出现的次数count
MATCH (yb:研报)-[r:包含]->(kw:关键词) WHERE yb.hcode='HDOC6a0250e61f91a856cd5dd6c39327fa57' AND kw.hcode='HCEPT69305efd9563834a4e7b67d6d5ac4674'
WITH ID(yb) AS ybId,r.count AS count,ID(kw) AS kwId,1081720 as ybCount 
// 获取该研报中关键词总数
MATCH (yb)-[r:包含]->(kw:关键词) WHERE ID(yb)=ybId
WITH ybId,SUM(r.count) AS kwCount,count,kwId,ybCount
// 计算TF-词频(Term Frequency)
WITH ybId,1.0*count/kwCount AS tf,kwId,ybCount
// 该关键词出现在多少篇研报中
MATCH (yb:研报)-[:包含]->(kw:关键词) WHERE ID(kw)=kwId WITH COUNT(yb) AS ybKwCount,ybCount,ybId,tf,kwId
// 计算IDF-逆文本频率指数(Inverse Document Frequency)
WITH tf,log10(ybCount/ybKwCount) AS idf,ybId,kwId
RETURN ybId,kwId,tf*idf AS `TF-IDF`

3.3.2、优化去除ybCount计算的存储过程实现

CALL apoc.custom.asProcedure(
'yanbao.kw.tfidf.withYbCount',
'// 获取研报以及关键词，计算该词在这篇研报的TF-IDF分数
// 获取研报`HDOC6a0250e61f91a856cd5dd6c39327fa57`和关键词`HCEPT69305efd9563834a4e7b67d6d5ac4674`，以及该关键词在研报中出现的次数count
MATCH (yb:研报)-[r:包含]->(kw:关键词) WHERE yb.hcode=$yanbaoHcode AND kw.hcode=$kwHcode 
WITH ID(yb) AS ybId,r.count AS count,ID(kw) AS kwId,$ybCount as ybCount 
// 获取该研报中关键词总数
MATCH (yb)-[r:包含]->(kw:关键词) WHERE ID(yb)=ybId 
WITH ybId,SUM(r.count) AS kwCount,count,kwId,ybCount 
// 计算TF-词频(Term Frequency)
WITH ybId,1.0*count/kwCount AS tf,kwId,ybCount 
// 该关键词出现在多少篇研报中
MATCH (yb:研报)-[:包含]->(kw:关键词) WHERE ID(kw)=kwId WITH COUNT(yb) AS ybKwCount,ybCount,ybId,tf,kwId 
// 计算IDF-逆文本频率指数(Inverse Document Frequency)
WITH tf,log10(ybCount/ybKwCount) AS idf,ybId,kwId 
RETURN ybId,kwId,tf*idf AS tfidf,$yanbaoHcode as yanbaoHcode,$kwHcode as kwHcode',
'READ',
[['yanbaoHcode','STRING'],['kwHcode','STRING'],['ybId','LONG'],['kwId','LONG'],['tfidf','DOUBLE']],
[['yanbaoHcode','STRING'],['kwHcode','STRING'],['ybCount','LONG']],
'计算研报中某关键词TF-IDF分数,增加存量数据时传入研报数量参数'
);

调用过程结果

CALL custom.yanbao.kw.tfidf.withYbCount('HDOC6a0250e61f91a856cd5dd6c39327fa57','HCEPT69305efd9563834a4e7b67d6d5ac4674',1081720) YIELD yanbaoHcode,kwHcode,ybId,kwId,tfidf RETURN yanbaoHcode,kwHcode,ybId,kwId,tfidf

可以看到，我们去除了算法中最耗时的一步操作，COUNT()聚合是很耗性能的，现在的结果是一次计算耗时1ms，500倍的提升。

PoetryAndTheDistance
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
TF-IDF算法原理和公式
酷酷的川的博客
01-14 3万+
一、什么是TF-IDF算法 TF-IDF算法是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外，因特网上的搜索引擎还会使用基于链接分析的评级方法，以确定文件在搜寻结果中出现的顺序。 从事SEO行业时间比较长的人应该都听说过TF-IDF算法，TF-IDF算法属于搜索引擎
使用TF-IDF算法进行数据处理（附代码）
etSha的博客
04-06 4484
使用TF-IDF算法，对中文文本进行分词、停词及词频计算。
TF-IDF的原理与实际应用
敷衍zgf的博客
09-28 2926
TF-IDF原理与实际应用
TF-IDF算法理解与运用
最新发布
Lovely_Chen的博客
05-03 1151
TF-IDF算法理解以及在spark框架中的调用
【NLP-00】TF-IDF算法：原理、应用与介绍
qq_38614074的博客
03-06 1865
介绍tf-idf的实现原理和应用领域
TF-IDF算法
Lin_lin11的博客
12-19 2061
TF-IDF（Term Frequency-Inverse Document Frequency，词频-逆文档频次）算法是一种基于统计的计算方法，常用于评估一个文档集中一个词对某份文档的重要程度。一个词对文档越重要，那就越可能是文档的关键词，常将TF-IDF算法用于关键词提取中。 TF-IDF算法由两部分组成：TF算法以及IDF算法。 TF算法是统计一个词在一篇文档中出现的频次，一个词在文档中...
TF-IDF 算法 以及 Elasticsearch中的打分
weixin_44715126的博客
01-02 1030
TF-IDF算法 elasticsearch打分机制 根据阅读量提高曝光度的方法
document_similarity_algorithms_experiments：文档相似性算法实验-Jaccard，TF-IDF，Doc2vec，USE和BERT
01-31
通过运行多种算法，其中一些算法在NLP社区中是最新的和最新的，它将显示出哪种算法给出了最佳结果，以及对同一组数据给出了多少结果。 通过使用流行的全长媒体出版物作为我们的数据输入，我们将模拟现实世界中的...
第三届阿里云安全算法挑战赛数据集
01-20
3. **API指令序列**：这是数据集的核心，记录了Windows可执行程序在沙箱环境中模拟运行时调用的API函数序列。API（Application Programming Interface）是操作系统提供给开发者的一组接口，通过这些接口，程序可以与...
IADS-cw：爱丁堡大学算法和数据结构入门课程
02-11
TF-IDF则是一种评估单词在文档中重要性的统计方法。 4. **查询优化**：优化查询执行速度，如使用缓存、并行处理和索引预加载等技术。 接下来，我们转向"旅行销售员问题的启发式"。这是一个著名的NP完全问题，寻找...
人工智能_项目实践_仿真评论_从电商评论中提取用户表达观点的短句并进行组合来生成仿真评论
03-19
tf-idf能衡量一个词在文档中的重要性，它结合了词频和文档频率，帮助我们筛选出那些在评论中频繁出现但全局不常见的词汇，这些词汇往往反映了用户的独特观点。 接下来，情感分析是另一关键步骤。情感分析旨在识别和...
基于人工免疫系统的学习算法，在 Matlab 中实现_MATLAB_代码_下载
06-22
在本项目中，我们关注的是如何将AIS应用于学习算法，并在Matlab环境中进行实现。Matlab是一种强大的编程环境，尤其适合于数值计算、符号计算以及科学数据分析。 一、人工免疫系统的基本原理 人工免疫系统主要由...
[机器学习] TF-IDF算法
热门推荐
摩登都市天空---专栏
06-10 1万+
1.文本数据的向量化 1.1名词解释 CF：文档集的频率，是指词在文档集中出现的次数 DF：文档频率，是指出现词的文档数 IDF：逆文档频率，idf = log(N/(1+df))，N为所有文档的数目，为了兼容df=0情况，将分母弄成1+df。 TF：词在文档中的频率 TF-IDF：TF-IDF= TF*IDF 1.2 TF-IDF算法 TF-IDF（词频-逆文档频率）算法是一...
算法篇--TF-IDF算法
小强签名设计 的博客
08-03 1万+
文章目录一、前言二、简单实例 一、前言   TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。   TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。   TF-IDF的主要思想是：如果某
TF-IDF算法在实践中的应用
danpu0978的博客
04-27 483
在这篇文章中，我将分享我对URL中的非结构化数据进行分类的经验。 我最终使用TF-IDF算法解决了手头的问题，并认为分享这些经验会很有趣。 这篇文章仅专注于解决问题，但是由于所使用的上下文与Plumbr有关，因此首先为不熟悉Plumbr的读者提供一些背景知识： Plumbr监视最终用户与应用程序的交互 。 每个这样的交互称为交易 事务 按消耗的实际端点分组在一起 。 例如，如果...
TF-IDF算法以及场景应用
热衷开源的Boy
04-23 933
解释 TF（Term Frequency，缩写为TF）：词频，某一词条（item）出现的频度。为归一化要除以该篇文档的所有item。 TF=TF=TF= IDF（Inverse Document Frequency，缩写为IDF）：逆文本频率。公式如下 ...
2.5.1 推荐系统算法---基于内容的电影推荐：物品画像
WGS.
08-01 1765
基于内容的电影推荐：物品画像 物品画像构建步骤： 利用tags.csv中每部电影的标签作为电影的候选关键词 利用TF·IDF计算每部电影的标签的tfidf值，选取TOP-N个关键词作为电影画像标签 将电影的分类词直接作为每部电影的画像标签 基于TF-IDF的特征提取技术 前面提到，物品画像的特征标签主要都是指的如电影的导演、演员、图书的作者、出版社等结构话的数据，也就是他们的特征提取，尤其是体征向量的计算是比较简单的，如直接给作品的分类定义0或者1的状态。 但另外一些特征，比如电影的内容简介、电影的影评
tf-idf算法_TF-IDF算法在实践中的应用
danpu0978的博客
05-22 592
tf-idf算法 在这篇文章中，我将分享我对URL中的非结构化数据进行分类的经验。 我最终使用TF-IDF算法解决了手头的问题，并认为分享这些经验会很有趣。 这篇文章仅专注于解决问题，但是由于所使用的上下文与Plumbr有关，因此首先为不熟悉Plumbr的读者提供一些背景知识： Plumbr监视最终用户与应用程序的交互 。 每个这样的交互称为交易 事务 按消耗的实际端点分组在一起...
主题模型入门：从TF-IDF到LDA
"Topic Model_an introduction - 介绍话题模型在文本学习和挖掘中的应用与理论" 话题模型是一种在文本分析领域广泛应用的技术，它主要用于理解和提取文本数据中的隐藏主题或概念。这个资源是作者在研究小组讨论会上...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值