Rocchio算法

最新推荐文章于 2022-05-22 18:20:00 发布
最新推荐文章于 2022-05-22 18:20:00 发布
阅读量7k 收藏 5
点赞数 6
分类专栏： 自然语言处理信息检索 文章标签： 相关性反馈 PRF Rocchio算法 信息检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baimafujinji/article/details/50930260
版权
Rocchio算法源于1970年代的SMART IR系统，是一种相关反馈方法，通过调整查询向量来优化信息检索。该算法假设用户能判断相关文档，将相关文档集与不相关文档集的质心向量差作为新的查询向量，以提高检索的精确性和召回率。实际应用中，通常只采用正反馈，并通过调整权重参数α、β和γ来平衡原始查询和反馈信息的影响。
摘要由CSDN通过智能技术生成

一、引子


查询扩展（Query Expansion）是信息检索领域的一个重要话题。一方面，用户本身可能会出错，他会输入一些错别字，比如把“冯小刚”，错写成“冯晓刚”；或者某个复杂的专有名词，用户自己也不是很清楚，例如图灵当年研究的Entscheidungsproblem，因为这个词很生僻，你可能只隐约记得 En...ch...dungsproblem。现代IR要求面对用户的错误输入或者不完整的输入也能给出尽量相关的查询结果，这就需要用到查询扩展。另一方面，自然语言本来就具有多意性，例如当你输入java时，它可能指一种计算机语言，也可能是印尼的一座岛，甚至是某个品种的咖啡豆。这些问题也要借助查询扩展来加以应对。


你可能会想到使用通配符（wildc

了解本专栏 订阅专栏 解锁全文 超级会员免费看
白马负金羁
关注
专栏目录
订阅专栏
RelevanceFeedback:使用 Bing 搜索从用户相关性反馈中学习的 Rocchio 算法
06-22
相关性反馈团队成员：Karl Bayer Rhea Goel 文件：README.md english.txt BingSearch.py 描述：通过在终端中键入以下内容来运行程序... python BingSearch.py [accountKey] [precision] ['query'][accountKey] the ...
[统计学习]Rocchio算法
duanhy的专栏
12-07 2196
本文讲述的是Rocchio算法，是一种统计学习算法，多用于文本分类。 Rocchio算法是一种非常自然可以想到的算法。如在文本分类中，我们可以依据文本关键字出现频率对其进行归类。这就是Rocchio算法的体现。如需要确定一篇文章是否属于“计算机”分类，则我们设定几个关键字，如“网络”，“程序”等。我们要做的是统计在已知为互联网类别中，各个关键字出现的平均次数，并将这些结果组成一个向量，称之为“质
操作系统概论（4）--进程调度
Sunjihang_123的博客
10-24 908
进程调度：如何分配CPU。（自行回顾进程调度状态图的三模态、五模态） 1.引起进程调度的时机 1）现运行进程运行结束或者因任务完成而正常结束，或者因出现错误而异常结束。 2）现运行进程因某种原因，比如I/O请求，从运行进出入阻塞状态。 3）现运行进程执行某种原语操作，如P操作、阻塞原语等，进入阻塞状态。 4）一个具有更
操作系统原理，多级反馈队列调度算法Multilevel feedback，多处理器调度算法考虑的问题，常见操作系统上的调度算法，Windows中IO线程和“饥饿”线程优先级提升
ganfanren00001的博客
05-22 1494
操作系统原理，多级反馈队列调度算法Multilevel feedback，多处理器调度算法考虑的问题，常见操作系统上的调度算法，Windows中IO线程和“饥饿”线程优先级提升 一、多级反馈队列调度算法Multilevel feedback 1、设置多个就绪队列，第一级队列优先级最高 2、给不同就绪队列中的进程分配不同长度的时间片，第一级队列时间片最小，随着队列优先级的降低，时间片增大 3、当第一级队列为空的时候，在第二级队列调度，以此类推 4、各组队列按照时间片轮转方式进行调度 5、当新创建一个进程就绪后
单处理器调度算法详解
Law of Conservation of Eudaemonia
12-18 867
调度算法（重点） 饥饿的理解 轮到该进程使用CPU时，另一个进程以某种原因抢先占用CPU（抢占） 几个人一起吃一块蛋糕，轮到你吃时，你后边的人抢到你前面吃掉了你的那一份，没吃到原本该你吃的东西，你会很饥饿 非抢占 FCFS、SPN、HRRN 抢占 RR、SRT、Feedback 开销小 FCFS、RR 有饥饿 SPN、SRT、Feedback 2.10.1 FCFS先来先服务 按照请求cpu顺序执行 对短进程不利，参考超市购物 对I/O密集型不利，因为cpu需求小 属于非抢占，无饥饿，响应时间可能很长 早
西南交大操作系统实验-进程调度
Uranuslight的博客
05-27 1993
西南交大操作系统实验-进程调度 对操作系统中进程调度的模拟算法。 实验要求实现操作系统进程调度中的SRT与FEEDBACK算法。 进程调度常见算法概要： FCFS（先到先服务）: 先来先服务，也可以称为先进先出 ROUND-ROBIN（轮询）： 以一个周期性间隔产生时钟中断，此时当前正在运行的进程被置于就绪队列，基于FCFS选择下一个就绪进程运行。 SPN：最短进程优先，下一次选择所需
从n-gram中文文本纠错，到依存树中文语法纠错以及同义词查找
weixin_33851177的博客
10-13 1518
为什么80%的码农都做不了架构师？>>> ...
我对花朵分类的主要成分分析和Rocchio算法的使用
02-21
在本项目中，我们主要探讨了如何利用主成分分析（PCA）进行花朵分类，并结合Rocchio算法提高分类效果。PCA是一种无监督的线性降维技术，它通过找到原始数据集中的主要成分来减少特征数量，同时尽可能保留数据集中的...
alg.tar.gz_ROCCHIO
09-21
标题“alg.tar.gz_ROCCHIO”中的关键词“ROCCHIO”表明了这个压缩包包含的是与ROCCHIO算法相关的程序或数据。ROCCHIO算法是一种在信息检索和分类领域中广泛使用的迭代方法，尤其在布尔检索模型和向量空间模型...
一种快速文本归类算法的设计与实现 (2006年)
05-17
- **改进的Rocchio分类算法**：对经典的Rocchio算法进行了优化，以提高其处理大规模数据集时的性能。 #### 方法介绍 该算法的核心思想在于通过建立一个强大的类别特征信息数据库来支持高效的文本分类过程。首先，...
基于反馈（Feed Back，FB）排队算法的CPU调度的模拟实现
08-30
基于反馈（Feed Back，FB）排队算法的CPU调度的模拟实现. 模拟动态创建多个进程，依据反馈排队算法调度原理，动态显示就绪队列中的进程、进程的剩余时间及占有CPU的进程； 动态显示等待队列中的进程（假设当前只有一个事件的等待队列）；
TextClassification:使用Python进行文本分类的简单实践
07-03
使用 Rocchio 算法的文本分类。 每个文档都在一个向量空间中表示。 在训练阶段，找到每类文档的质心。 在测试阶段，计算测试文档到每个质心的距离，并将文档分配到最近的质心类。 天真的eBayes.py 使用朴素贝叶斯...
Rocchio 算法
RYP_S 的专栏
02-03 2266
该算法（Rocchio，1971）是20 世纪70 年代左右在Salton 的SMART 系统中引入并广泛流传的一种相关反馈算法。 （1）Rocchio算法应用于文本分类 基本的思路是把一个类别里的样本文档各项取个平均值（例如把所有 “体育”类文档中词汇“篮球”出现的次数取个平均值，再把“裁判”取个平均值，依次做下去），可以得到一个新的向量，形象的称之为“质心”，质心就成了这个类别最具代表
feedback算法C语言,Learner Reviews & Feedback for 计算导论与C语言基础 Course | Coursera
weixin_29157493的博客
05-24 138
计算导论与C语言基础： 1 - 25 / 374 レビューFilled StarFilled StarFilled StarStarStarby Wan K•2015年8月16日这个课的作业做起来非常吃力，只是简单的openjudge上的习题搬过来了，没有任何说明，甚至还不如openjudge上的说明详细，和当周的课程内容联系也不紧密。经常出现的一个情况就是，最后一章才讲的内容，搬到中间作为习...
Rocchio算法—文本分类
lilong117194的博客
01-06 9909
文本表示：其实就是文本的向量化问题。 向量空间模型的思想是把文档简化为特征项的权重为分量的向量表示，其中选取词作为特征项，权重用词频表示。 其主要用的是TF-IDF算法来计算：TF（词频）是一个词语出现的次数除以该文件的总词语数。IDF（文件频率）的方法是测定有多少文件出现过某个词，然后除以文件集里的文件数。注意这里IDF用的是逆向文件频率，即假如“汽车”一词在100份文件中出现过，总文件数是
运用TensorFlow处理简单的NLP问题
github_35804313的博客
08-06 1542
当前“人工智能”是继“大数据”后又一个即将被毁的词，每家公司都宣称要发力人工智能，就跟4-5年前大数据一样，业界叫的都非常响亮，不禁想到之前一个老外说过的话： Big Data is like teenage sex: Everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims. 现在看来，上面的”Big Data”可以换成
利用Rocchio算法实现测试文档分类的python代码
最新发布
05-15
Rocchio算法是一种基于向量空间模型的文本分类算法，其思想是将测试文档的向量表示与已知类别的训练文档的向量表示进行比较，根据最相似的训练文档的类别来预测测试文档的类别。以下是一个基于Rocchio算法的测试文档分类的Python代码示例： ```python import numpy as np class RocchioClassifier: def __init__(self, alpha=1, beta=0.75, threshold=0): self.alpha = alpha # 加权因子 self.beta = beta # 减权因子 self.threshold = threshold # 判断阈值 def fit(self, X, y): # 计算各个类别的文档向量的平均值 self.class_means = {} for label in np.unique(y): self.class_means[label] = np.mean(X[y == label], axis=0) def predict(self, X): y_pred = [] for x in X: # 计算测试文档向量与各个类别的文档向量的余弦相似度 similarities = {} for label, mean in self.class_means.items(): similarities[label] = np.dot(x, mean) / (np.linalg.norm(x) * np.linalg.norm(mean)) # 根据余弦相似度最大的类别来预测测试文档的类别 max_label = max(similarities, key=similarities.get) if similarities[max_label] >= self.threshold: y_pred.append(max_label) else: y_pred.append(None) return y_pred def fit_predict(self, X_train, y_train, X_test): self.fit(X_train, y_train) return self.predict(X_test) ``` 使用示例： ```python from sklearn.datasets import fetch_20newsgroups from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report # 加载数据集 newsgroups = fetch_20newsgroups(subset='all') # 特征提取 vectorizer = TfidfVectorizer() X = vectorizer.fit_transform(newsgroups.data) y = newsgroups.target # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 训练并预测 clf = RocchioClassifier() y_pred = clf.fit_predict(X_train, y_train, X_test) # 评估分类器性能 print(classification_report(y_test, y_pred, target_names=newsgroups.target_names)) ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

白马负金羁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值