推荐系统学习（2）——基于TF-IDF的改进

最新推荐文章于 2024-04-19 10:57:44 发布
VIP文章 最新推荐文章于 2024-04-19 10:57:44 发布
阅读量4.3k 收藏 3
点赞数 1
分类专栏： 推荐系统学习 文章标签： idf 算法 标签推荐
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/minedayu/article/details/39903635
版权

使用用户打标签次数*物品打标签次数做乘积的算法虽然简单，但是会造成热门物品推荐的情况。物品标签的权重是物品打过该标签的次数，用户标签的权重是用户使用过该标签的次数，从而导致个性化的推荐降低，而造成热门推荐。

运用TF-IDF的思想可以对算法进行改进。TF-IDF（term frequemcy-inverse documnet frequency）是一种用于资讯检索和文本挖掘的加权技术。用来评估一个词的重要程度。其主要思想是如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。IDF是逆向文件频率，即包含某个term的文件越少，则IDF越大。

IDF可以由总文件数目除以包含该词语的文件的数目，然后取对数得到：

\mathrm{idf_{i}} = \log \frac{|D|}{|\{j: t_{i} \in d_{j}\}|}

其中D代表文件的总数，分母代表包含该词语的文件的数目，为避免分母为0，通常用1+分母作为当前的分母。这样，当包含该词语的文件在总文件数量中所占比重很小时，能够得到较大的TDF，从而能够得到较大的比重，有利于实现个性化的推荐。（

最低0.47元/天 解锁文章
大禹不治水
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
华为校招机试 - 扑克牌消除（20240417）
伏城之外的博客
04-18 179
已支持（Java & JS & Python & C & C++），实现：栈结构
【文本分类】基于类信息的TF-IDF权重分析与改进
十一月廿七风雨大作
11-10 2973
摘要：改进TFIDF，增加了类间因子、类内因子，应用于文本的特征选择，提高了精度 。 参考文献：[1]姚严志,李建良.基于类信息的TF-IDF权重分析与改进[J].计算机系统应用,2021,30(09):237-241. 一、引言   权重计算的方法多种多样, 常用的包括文档频率、信息增益、互信息、卡方分布、TF-IDF 等。 二、基础算法 2.1、TF-IDF算法【词频-逆文档频】   可以与sklearn中提供的TF-IDF方法TfidfVectorizer结合介绍。    1、 如上图，TF-.
基于TF-IDF+KMeans聚类算法构建中文文本分类模型（附案例实战）
m0_64336780的博客
03-31 1万+
TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。简单来说就是：一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章。这也就是TF-IDF的含义。
推荐系统算法之基础——基于内容或者协同过滤算法
geuejfwhje的博客
03-08 901
userCF：适用于用户少，物品多，时效性比较强的场合，难以提供令用户信任的推荐理由；致命缺点：处理系数向量的能力差，明天学习CMF看看有什么奇效！！！
机器学习——博客推荐系统
金戈鐡馬
06-16 656
在当今的信息时代，技术博客已成为知识、见解和娱乐的重要来源。随着博客内容的日益丰富，找到最相关和最引人入胜的文章对用户来说可能是一项艰巨的任务。为了应对这一挑战，我们需要一个全面的博客推荐系统，利用尖端技术和机器学习算法来增强博客平台上的用户体验。我们将基于发布的博客推荐数据构建博客推荐系统。其中包括从 Medium 收集的博客数据以及通过跟踪他们的活动从 5000 多名用户收集的评级。
TF-IDF 算法改进
Bingo
10-24 6111
概念 : TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 缺点：单纯以"词频"衡量一个词的重要性，不够全面，
应用于文本分类问题的TF-IDF改进方法
热门推荐
追梦赤子心
03-03 1万+
TF-IDF是一种统计方法，用以评估某一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。二、传统TF-IDF的不足 对于传统的TF-IDF而言，可以计算出在一文档集合中特定文档里所包含的区别于其他文档的重要词语，换言之就是关键词。三、TF-IDF的改进 1、TF部分的改进 这里考虑将文档内的词频率更改为同一类文档内的词频率可以在一定程度上解决上面提到的第2项不足之处。 2、IDF部分的改进 传统的IDF通
应用于文本分类问题的TF-IDF改进方法的算法实现
qq_35387405的博客
12-15 778
文中所提到IF-IDF算法的改进方法进行了代码实现，实现方式仅供参考，IDF的改进方式采用的是第二种方案。
TF-IDF关键词提取改进——TF-IDF-CI
江影星光
07-28 630
​ TF-IDF是关键词提取中常用的手段，但是它仅仅考虑了特征词在文本中的词频和逆文档率，没有考虑到特征词在类内和类间中的分布情况，依然有很大的改进空间。而TF-IDF-CI就是对TF-IDF的一种改进方式。
推荐系统之TF-IDF算法实现
nuist_NJUPT的博客
12-06 1534
推荐系统之TF-IDF算法实现 词频-逆文档频率(TF-IDF)是一种用于资讯检索与文本挖掘的常加权技术。该技术是一种统计方法，用以评估一个字词对于一个文件集或一个语料库中一个文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 如下公式：TF是字词在文件中出现的频率，即词频；DF是字词在语料库中出现的频率，即逆文档频率。 下面我们看一下词频TF的计算公式，分子表示i在j中出现的次数，分母表示文档j的总词数。 我们再看一下逆向文件频率的公式，其中
机器学习文本分类基于TF-IDF+手写朴素贝叶斯
02-08
人工智能大作业，文本分类，TF-IDF+手写朴素贝叶斯。本项目利用分类算法实现对文本的数据挖掘，主要包括：1. 语料库的构建，主要从搜狗语料库、复旦大学中文语料库等搜集文章作为训练集和测试集；2. 语料库的数据...
基于Word2vec和改进TF-IDF算法的深度学习模型研究.pdf
08-18
基于Word2vec和改进TF-IDF算法的深度学习模型研究.pdf
NLP：基于TF-IDF的中文关键词提取.zip
04-21
基于特定语料库的TF-IDF的中文关键词提取 使用前按照说明操作。
tf-idf_tf-idf_
10-01
tf-idf算法简单分析多个pdf文件关键词
Python爬取十篇新闻统计TF-IDF
12-25
统计十篇新闻TF-IDF 统计TF-IDF词频，每篇文章的 top10 的高频词存储为 json 文件 TF-IDF TF-IDF（term frequency–inverse document frequency）是一种...除了TF-IDF以外，互联网上的搜索引擎还会使用基于连结分析的
【Leetcode】2007. 从双倍数组中还原原数组
最新发布
weixin_43627638的博客
04-19 131
一个整数数组original可以转变成一个数组changed，转变方式为将original中每个元素加入数组中，然后将所有元素。给你一个数组changed，如果change是数组，那么请你返回original数组，否则请返回空数组。original的元素可以以顺序返回。
每日两题1
FZC206的博客
04-14 328
可以试着倒着走，时间及空间复杂度不变；空间复杂度可以优化为O(1);
C++ | Leetcode C++题解之第27题移除元素
Ddddddd_158的博客
04-14 483
C++ | Leetcode C++题解之第27题移除元素
FloodFill算法简介（用BFS、DFS算法解决）
2301_76197086的博客
04-18 181
FloodFill算法简介
请基于TF-IDF模型使用python实现文本的相似度推荐
04-20
好的，基于TF-IDF模型使用Python实现文本的相似度推荐的代码如下： ``` import pandas as pd from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity # 读取文本数据 data = pd.read_csv('data.csv') # 对文本数据进行TF-IDF向量化 vectorizer = TfidfVectorizer() tfidf = vectorizer.fit_transform(data['text']) # 计算文本相似度矩阵 similarity_matrix = cosine_similarity(tfidf, tfidf) # 获取与第一篇文本相似度最高的文本 most_similar_index = similarity_matrix[0].argsort()[-2:-1][::-1] most_similar_text = data.loc[most_similar_index, 'text'].values[0] print(most_similar_text) ``` 其中，data.csv是包含文本数据的CSV文件，其中一列名为text。通过调用sklearn库中的TfidfVectorizer类实现TF-IDF向量化，然后通过计算余弦相似度得到文本相似度矩阵。最后根据相似度矩阵获取与第一篇文本相似度最高的文本。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值