搜索&推荐
文章平均质量分 79
搜索、推荐领域相关知识点
frostjsy
越努力,越幸运
展开
-
LLM-KERec
LLM-KERec系统包括传统推荐模块和基于LLM的互补知识增强模块。传统推荐模块负责召回候选商品、粗排过滤、精排和重排。LLM互补知识增强模块则包括实体提取器、互补图构造、E-E-I权重决策模型等,以整合互补知识,增强推荐效果。原创 2024-05-12 19:35:17 · 299 阅读 · 0 评论 -
GENRE
摘要改写:把新闻的title, abstract 还有category 当作输入,然后要求大语言模型来生成一个摘要,把这个摘要当作这个新闻的 new feature输入下游。用户画像:根据用户过去观看过的新闻的标题,尝试去问大语言模型是否知道这个用户的一些感兴趣的topic,也就是用户的喜好和他所在的位置。样本扩充:有一些用户看过的新闻非常少,所以用大语言模型来做一些样本的扩充。原创 2024-05-12 19:34:12 · 327 阅读 · 0 评论 -
langchain入门
现将文本分段,然后逐段总结,最后合并各个总结。# 导入文本# 将文本转成 Document 对象# 初始化文本分割器# 切分文本# 加载 llm 模型# 创建总结链# 执行总结链,(为了快速演示,只总结前5段)原创 2024-03-10 21:28:57 · 1027 阅读 · 0 评论 -
推荐搜索中各类排序算法综述
排序中常见的算法原创 2022-07-31 21:42:18 · 1659 阅读 · 0 评论 -
rank的相关loss
排序优化时,主要从三个角度来考虑构建loss,分别为pointwise、pairwise、listwise。pointwise将排序所有query当成一个整体,计算每个对的loss,相当于一个二分问题。pairwise以每个query为维度,构建这样的元组,构建doc和doc之间的偏序关系。listwise以query为维度,将此query下的doc作为一个list进行建模。常见的这几种loss包括如下几种,来源于TF-Ranking代码库。Click原创 2023-12-02 12:42:06 · 1546 阅读 · 0 评论 -
海量数据相似数据查询方法
海量文本场景,如何寻找一个doc的topn相似doc,一般存在2个问题,1)、两两对比时间o(n^2)2)、高维向量比较比较耗时。文本集可以看成(doc,word)稀疏矩阵,一般常见的方法是构建到排索引,然后进行归并。原创 2023-02-18 23:51:54 · 1277 阅读 · 0 评论 -
搜索推荐场景常见的几种特征类型
1、id特征id稀疏特征,一般会做一个embedding。2、raw特征稠密特征,数值类型,一般有3种归一化方法。minmax,zscore,log10log10:x = x > threshold ? log10(x) : default;zscore:x = (x - mean) / standard_deviationminmax:x = (x - min) / (max - min)3、组合特征不同字段的组合(笛卡尔积),字段一般来自不同的表,比如用户 age特征原创 2022-03-23 22:22:15 · 1348 阅读 · 0 评论 -
搜索的基本框架
1、搜索与推荐 用户从海量文本中获取信息主要通过两个途径,搜索和推荐;搜索和推荐的区别在于,搜索是通过输入一定的信息,获取对应的信息,是一个主动获取信息的过程。推荐则是app/web根据用户的历史行为数据,猜测用户的喜好,进行内容的推送。2、搜索分类2.1.搜索分类 一般搜索分为大搜和垂搜,大搜就是像百度、google、bing等对相关网页进行搜素。垂搜指的是某一领域的搜索,比如爱奇艺中的视频检索、淘宝的商品检索、贝壳的房子搜索等。2.2、搜索基本模块 ...原创 2021-10-30 22:26:48 · 1157 阅读 · 0 评论