u013250861的博客

这颗条件树已经是单一路径，路径上的所有组合即为条件频繁集：{{}，{牛奶}，{面包}，{牛奶，面包}}，加上{尿布}后，又得到一组频繁项集{{尿布}，{牛奶，尿布}，{面包，尿布}，{牛奶，面包，尿布}}，这组频繁项集一定包含一个相同的后缀：{尿布}，并且不包含{啤酒}，因此这一组频繁项集与上一组不会重复。可以看到，鸡蛋和可乐没有出现在上表中，因为可乐只出现2次，鸡蛋只出现1次，小于最小支持度，因此不是频繁项集，根据Apriori定理，非频繁项集的超集一定不是频繁项集，所以可乐和鸡蛋不需要再考虑。

关联规则中的数据集结构一般如下所示：{ 牛奶 } 是 1-项集{ 牛奶，果冻 } 是 2-项集；{ 啤酒，面包，牛奶 } 是 3-项集X和Y是项集X称为规则前项Y称为规则后项事务：即样本，一个样本称为一个事务。事务仅包含其涉及到的项目，而不包含项目的具体信息在超级市场的关联规则挖掘问题中事务是顾客一次购物所购买的商品，但事务中并不包括这些商品的具体信息，如商品的数量、价格等# 自定义一份数据集data = {print(df)

关联规则中的数据集结构一般如下所示：{ 牛奶 } 是 1-项集{ 牛奶，果冻 } 是 2-项集；{ 啤酒，面包，牛奶 } 是 3-项集X和Y是项集X称为规则前项Y称为规则后项事务：即样本，一个样本称为一个事务。事务仅包含其涉及到的项目，而不包含项目的具体信息在超级市场的关联规则挖掘问题中事务是顾客一次购物所购买的商品，但事务中并不包括这些商品的具体信息，如商品的数量、价格等。

大语言模型能够为推荐系统带来充分的语义信号与外部知识；但是缺乏协同信号，推理代价高；大语言模型凭借其强大的涌现能力在各个应用领域都取得了经验的表现。推荐系统旨在解决信息过载问题来满足用户的个性化需求。

今天给大家分享下华为诺亚方舟实验室的talk:《推荐系统如何从大语言模型中取长补短：从应用视角出发》，个人感觉很有信息量，我们组内同学也做过交流分享，相关信息也可以从综述找到："How Can Recommender Systems Benefit from Large Language Models: A Survey"，在此分享给大家。，需要通过引入推荐场景的数据，结合微调技术，为语言模型注入协同信号。代表性工作CTRL。研究怎么把推荐模型的信号引入LLM，但是不进行LLM的微调，代表性工作KAR。

第二种方式是用户需求不是特别明确，这时可以借助个性化推荐技术来帮助用户更便捷地获取信息，个性化推荐基于用户历史行为，构建数学模型，猜测用户兴趣偏好，为用户提供个性化的信息推荐；在当前信息爆炸的时代，获取有价值的信息不是一件容易的事情，但我们可以借助机器学习算法来更好地帮助用户获取有价值的信息。具体来说，本文会从什么是列表页智能重排序、智能重排序的应用场景、智能重排序的价值、智能重排序的实现方案与算法原理、智能重排序的难点与挑战、智能重排序在电视猫上的应用等 6 个维度来讲解智能重排序相关的知识点。

基于上面的问题和困惑，我们用这一章来详细说明从零开始搭建一套企业级推荐系统需要考虑的问题及相应的对策，将搭建推荐系统中涉及到的知识点、关注点、可能存在的问题体系化地进行归纳总结，给希望从零开始搭建企业级推荐系统的读者提供一份参考指南，帮助读者系统化、有针对性地思考，让读者尽量少走弯路。在过去的一两年有很多人咨询作者怎么从零开始搭建工业级推荐系统，有做音视频的、有做新闻资讯的、有做在线教育的，不一而足。

鉴于深度学习技术的巨大威力，它被学术界、产业界尝试应用于各类业务及应用场景，包括计算机视觉、语音识别、自然语言处理、搜索、推荐、广告等等。2016 年 YouTube 发表论文(见参考文献 7)将深度学习应用于视频推荐取得了非常好的效果，自此之后，深度学习技术在推荐系统上的应用遍地开花，各种论文、学术交流、产业应用层出不穷。经过这几年的发展，深度学习技术已经在图像分类、语音识别、自然语言处理等众多领域取得突破性进展，甚至在某些方面(如图像分类等)超越了人类专家的水平。

具体来说，本章我们会从什么是推荐系统 web 服务、推荐系统提供 web 服务的 2 种方式、事先计算型 web 服务、实时装配型 web 服务、两种 web 服务方式的优劣对比、影响 web 服务方案的因素及选择原则等 6 个部分来讲解。推荐系统是一种信息过滤技术，通过从用户行为中挖掘用户兴趣偏好，为用户提供个性化的信息，减少用户的找寻时间，降低用户的决策成本，让用户更加被动地消费信息。本章我们就来讲解推荐系统提供 web 服务的两种主要方式，这两种方式是企业级推荐系统最常采用的两种形式。

人的大脑是无法停下来的(即使是睡着了，也在做梦，大脑也没停)，大脑一定要注意到一件事情，这就是人的注意力，静止不变的东西是很难吸引用户兴趣的，实时推荐对用户反馈做实时调整，是动态变化的过程，更容易吸引用户的关注。实时推荐系统不是一种新的推荐算法(当然会对算法进行适当的调整优化，以适应实时性的需要)，而是一种新的推荐形态，一种新的工程架构，是。产品的“快消”化、用户时间的碎片化，这要求产品需要实时响应用户的需求，对用户的行为作出及时反馈，这正是实时推荐系统擅长的方向。，是处理效率的极大提升。

最近读了本好书-《深度学习推荐系统》，读完不觉全身通畅，于是就有了写这篇文章的想法，把自己的理解和总结分享给大家。本文将按照从算法到工程的顺序，先介绍一下推荐系统整体架构；再聊聊算法模型的演化；然后是推荐系统的一些设计关键点；最后，结合自身经验和业界最新进展，讨论一下系统的工程化实践。

最近读了本好书-《深度学习推荐系统》，读完不觉全身通畅，于是就有了写这篇文章的想法，把自己的理解和总结分享给大家。本文将按照从算法到工程的顺序，先介绍一下推荐系统整体架构；再聊聊算法模型的演化；然后是推荐系统的一些设计关键点；最后，结合自身经验和业界最新进展，讨论一下系统的工程化实践。

作者在上篇文章《推荐系统介绍》中简单对推荐系统做了一个较全面的介绍，相信大家对推荐系统有了初步的了解。本篇文章作者会结合多年推荐系统开发的实践经验粗略介绍推荐系统的工程实现， 简要说明要将推荐系统很好地落地到产品中需要考虑哪些问题及相应的思路、策略和建议, 其中有大量关于设计哲学的思考, 希望对从事推荐算法工作或准备入行推荐系统的读者有所帮助。本篇文章主要从整体上来介绍推荐系统工程实现, 以后发布的系列文章会逐步介绍工程实现的各个细节实现原理与策略。

实时性：能否根据用户最新的喜好实时更新推荐结果。新颖性：是否能推荐用户之前没见过的东西。满意度：准确率、停留时长、转化率等。多样性：推荐的物品是否两两不相似。覆盖率：长尾商品能否被推荐。

架构设计是一个很大的话题，这里只讨论和推荐系统相关的部分。更具体地说，我们主要关注的是算法以及其他相关逻辑在时间和空间上的关系——这样一种逻辑上的架构关系。在前面的章节中我们讲到了很多种算法，每种算法都是用来解决整个推荐系统流程中的某个问题的。我们的最终目标是将这些算法以合理的方式组合起来，形成一整套系统。在这个过程中，可用的组合方式有很多，每种方式都有舍有得，但每种组合方式都可被看作一种架构。这里要介绍的就是一些经过实践检验的架构层面的最佳实践，以及对这些最佳实践在不同应用场景下的分析。

推荐系统是信息过载所采用的措施，面对海量的数据信息，从中快速推荐出符合用户特点的物品。特别对于一些有“选择恐惧症”、没有明确需求的人。信息消费者如何从大量信息中找到自己感兴趣的信息是一件很困难的事。信息生产者如何让自己生产的信息脱颖而出，收到大众的喜爱，也是一件很困难的事情。.................................

## 2、离线推荐模块### 2.1 基于LFM的离线推荐模块#### 2.1.1 用ALS算法训练隐语义模型（LFM）- 怎样找到商品 A 的相似商品？—— 与A有相同标签的商品，喜欢A的人同样喜欢的商品- 根据 UGC (用户给商品打的标签)的特征提取 —— 利用TF-IDF算法从商品内容标签中提取特征- 基于商品的用户标签信息，用TF-IDF算法提取特征向量............

过去八九年在广告、生活服务、电商等领域从事大数据及推荐系统相关工作，近来打算对过去的工作做一个系统性的梳理。一方面帮自己查缺补漏、进行更深入的学习；另一方面也希望能通过博客结交同好，增进交流。这一博客系列以介绍推荐系统为主，会少量涉及广告系统。本篇文章作为该系列的第一篇，主要对推荐系统、数据框架等进行整体介绍，不涉及过多技术细节问题。在互联网信息爆炸的今天，推荐系统是我们身边一个无法躲避存在。在淘宝上浏览商品，在抖音上刷视频，以及无处不在的小广告…可以说，只要你开始上网冲浪，你就会被推荐系统包围。事实上，

利用用户和物品的特征信息，给用户推荐那些具有用户喜欢的特征的物品。利用用户喜欢过的物品，给用户推荐与他喜欢过的物品相似的物品。利用和用户相似的其他用户，给用户推荐那些和他们兴趣爱好相似的其他用户喜欢的物品。知你所想，精准推送物以类聚人以群分要推荐物品或内容的元数据，例如关键字，分类标签，基因描述等；系统用户的基本信息，例如性别，年龄，兴趣标签等用户的行为数据，可以转化为对物品或者信息的偏好，根据应用本身的不同，可能包括用户对物品的评分，用户查看物品的记录，用户的购买记录等。这些用户的偏好信息可以分为两类

推荐系统（Recommender System）主要是用于解决大数据时代信息过载的问题，其主要根据用户的历史偏好和约束为用户提供排序的个性化物品（item）推荐列表，更精准的推荐系统可以提升和改善用户体验。目前在推荐系统领域已有大量的开源项目，包括谷歌，Facebook，百度三大家官方都有提供相关的工具支持。本文详细列举了目前在推荐系统领域的一些项目/工具，用于助力推荐系统研究。注：以下项目排名不分先后。

这个项目主要是对目前的一些基于深度学习的点击率预测算法进行了实现，如PNN,WDL,DeepFM,MLR,DeepCross,AFM,NFM,DIN,DIEN,xDeepFM,AutoInt等,并且对外提供了一致的调用接口。关于每种算法的介绍这里就不细说了，大家可以看论文，看知乎，看博客，讲的都很清楚。

AUC是评估模型排序能力的指标，logloss是评估准确度的指标，用来排序的依据是概率值auc值是一个概率值，意味着正样本排在负样本前面的概率。

人工智能-推荐系统-模块01：离线统计模块【使用SparkSQL（基于Scala语言/Python语言）进行离线统计分析：历史热门商品统计、近期热门商品统计、商品平均评分统计...】

人工智能-推荐系统-模块02：离线推荐模块【基于LFM模型的推荐（ALS算法）、基于物品的协同过滤推荐（Item-CF）、基于用户的协同过滤推荐（User-CF）、基于内容的相似推荐（Tf-idf）】

可以在前端JS埋点，也可以在Java后端埋点ProductRestApi.java二、Flume阶段编写Agent的配置文件，在flume的conf目录下新建logexecsource-kafkasink.conf，对flume连接kafka做配置：三、Kafka阶段Application.javaLogProcessor.java四、SparkStreaming阶段OnlineRecommender.scala...

推荐系统-指标ctr、cvr。

推荐系统-模型Feed流推荐、DSSM，DIN，ESMM,MMOE、FM、Wide&Deep、DeepFM、DCN。

值得注意的一点是，由于应试教育的客观性，历次考试的题目难度、题目内容的构成、整套试卷不同难度和题型的分布都具有一定的讲究，因此，推荐系统不仅需要更具用户的历史行为记录生成一定规模的推荐题目，还需要从历史的考试中识别出考试的出题策略和考试趋势，进而在基于用户历史行为的推荐上组合出更加符合实际需要的整套试题，供用户使用。so，且行且摸索吧。1、如在用户搜索观看行为发生时，由于用户目的性强，对某一类的内容产生了即时、强烈的需求，在做推荐时，将主要根据用户搜索的点击、观看视频的内容、主题等进行基于内容的推荐。...

推荐系统：特征工程、常用特征

AB测试的本质是分离式组间试验，也叫对照试验，在科研领域中已被广泛应用（它是药物测试的最高标准）。自2000年谷歌工程师将这一方法应用在互联网产品以来，AB测试越来越普及，已逐渐成为衡量互联网产品运营精细度的重要体现。简单来说，AB测试在产品优化中的应用方法是推荐系统系列20AB测试平台的工程实现「构建企业级推荐系统」AB测试第二讲业界流行的AB测试框架实现方案推荐系统之必备要素-ABtest框架https。.........

推荐系统（RecommenderSystem）主要是用于解决大数据时代信息过载的问题，其主要根据用户的历史偏好和约束为用户提供排序的个性化物品（item）推荐列表，更精准的推荐系统可以提升和改善用户体验。目前在推荐系统领域已有大量的开源项目，包括谷歌，Facebook，百度三大家官方都有提供相关的工具支持。本文详细列举了目前在推荐系统领域的一些项目/工具，用于助力推荐系统研究。......

推荐系统的主要目标是将大量的标的物推荐给可能喜欢的海量用户,这里涉及到标的物和用户两类对象。任何互联网推荐产品,标的物和用户都是不断增长变化的，所以一定会频繁面对新标的物和新用户,推荐系统冷启动问题指的就是对于新注册的用户或者新入库的标的物,该怎么给新用户推荐标的物让用户满意，怎么将新标的物分发出去，推荐给喜欢它的用户。推荐系统系列（10）推荐系统冷启动。.........

模型的实时性与模型的训练方式紧密相关，模型的实时性由弱到强的训练方式分别是全量更新，增量更新和在线学习。推荐系统的实时性，包括。

网站在提供推荐服务时，一般是给用户一个个性化的推荐列表，这种推荐叫做TopN推荐，TopN推荐的预测准确率一般通过召回率和精确率来度量。在介绍召回率和精确率之前，首先要了解一下混淆矩阵表示样本的真实类别为正，最后预测得到的结果也为正；表示样本的真实类别为负，最后预测得到的结果却为正；表示样本的真实类别为正，最后预测得到的结果却为负；表示样本的真实类别为负，最后预测得到的结果也为负。......

准确率和召回率是两个相辅相成的指标，不应该只强调其中的一个。为了直观的同时观察这两个指标，我们可以引入F值，F值等于准确率和召回率的调和平均数。