利用语用推理改进稀疏检索

《Rational Retrieval Acts: Leveraging Pragmatic Reasoning to Improve Sparse Retrieval》
理性行为理论(Rational Speech Acts, RSA)
传统 RSA :一个说话者和 10 个学生,每次都能细致地推理他们的反应;
RRA:要面向 10 万用户,不能逐个分析,只能做压缩优化,但仍保留推理精髓。

流程说明

检索流程如下:
在这里插入图片描述

检索流程说明:
输入文档集合→稀疏编码器→lexicon(初始词汇表(t*d))→预处理→RSA推理→最终词汇表(t*d)
查询→稀疏编码器→一维查询词汇表(词权重t*1)→总文档词汇表×一维查询词汇表((t*d)T×t*1=d*1)
说明:t=>token
	 d=>documents

流程图如下:
在这里插入图片描述

公式说明

角色 公式编号 公式内容 含义
初始 Lexicon (1) L ( t , d ) = f ( w t , d ) L(t,d) = f(w_{t,d}) L(t,d)=f(wt,d) 将稀疏模型输出权重做平滑变换
字面听者 L 0 L_0 L0 (2) L 0 ( d ∣ t ) = P ( d ) ⋅ L ( t , d ) ∑ d ′ P ( d ′ ) ⋅ L ( t , d ′ ) L_0(d \mid t) = \frac{P(d) \cdot L(t,d)}{\sum_{d'} P(d') \cdot L(t,d')} L0(dt)=dP(d)L(t,d)P(d)L(t,d) 给定词 t t t,哪个文档更可能相关
语用说话者 S 1 S_1 S1 (3) S 1 ( t ∣ d ) = exp ⁡ ( α ⋅ log ⁡ L 0 ( d ∣ t ) ) Z d ( 1 ) S_1(t \mid d) = \frac{\exp(\alpha \cdot \log L_0(d \mid t))}{Z^{(1)}_d} S1(td)=Zd(1)exp(αlogL0(dt)) 给定文档 d d d,用户选择哪个词最能区分它
语用听者 L 1 L_1 L1 (4) L 1 ( d ∣ t ) = P ( d ) ⋅ S 1 ( t ∣ d ) Z t ( 1 ) L_1(d \mid t) = \frac{P(d) \cdot S_1(t \mid d)}{Z^{(1)}_t}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

路过的单车

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值