搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排精排重排混排)、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战(含码源)
专栏链接:推荐系统相关技术业务落地方案及码源
订阅本专栏你能获得什么?
前人栽树后人乘凉,本专栏提供资料:
- 推荐系统算法库,包含推荐系统经典及最新算法讲解,以及涉及后续业务落地方案和码源
- 本专栏会持续更新业务落地方案以及码源。同时我也会整理总结出有价值的资料省去你大把时间,快速获取有价值信息进行科研or业务落地。
帮助你快速完成任务落地,以及科研baseline
声明:专栏随着内容更新价格同步上调
本人后续会持续整合ML、DRL、NLP等相关领域的体系化项目课程,方便入门同学快速掌握相关知识,后续会不断增添实战环节(比赛、论文、现实应用等)。
- 对于机器学习这块规划为:基础入门机器学习算法—>简单项目实战—>数据建模比赛----->相关现实中应用场景问题解决。一条路线帮助大家学习,快速实战。
- 对于深度强化学习这块规划为:基础单智能算法教学(gym环境为主)---->主流多智能算法教学(gym环境为主)---->单智能多智能题实战(论文复现偏业务如:无人机优化调度、电力资源调度等项目应用)
- 自然语言处理相关规划:除了单点算法技术外,主要围绕知识图谱构建进行:信息抽取相关技术(含智能标注)—>知识融合---->知识推理---->图谱应用
上述对于你掌握后的期许:
- 对于ML,希望你后续可以乱杀数学建模相关比赛(参加就获奖保底,top还是难的需要钻研)
- 可以实际解决现实中一些优化调度问题,而非停留在gym环境下的一些游戏demo玩玩。(更深层次可能需要自己钻研了,难度还是很大的)
- 掌握可知识图谱全流程构建其中各个重要环节算法,包含图数据库相关知识。
这三块领域耦合情况比较大,后续会通过比如:搜索推荐系统整个项目进行耦合,各项算法都会耦合在其中。举例:知识图谱就会用到(图算法、NLP、ML相关算法),搜索推荐系统(除了该领域召回粗排精排重排混排等算法外,还有强化学习、知识图谱等耦合在其中),后续会持续实现。
1.专栏目录如下:持续更新中
![](https://i-blog.csdnimg.cn/blog_migrate/aae47bb882274b96dbee2075d62421ac.png)
2.文章合集
2.1 搜索推荐全流程讲解
推荐系统[一]:超详细知识介绍,一份完整的入门指南,解答推荐系统相关算法流程、衡量指标和应用,以及如何使用jieba分词库进行相似推荐,业界广告推荐技术最新进展
推荐系统[二]:召回算法超详细讲解[召回模型演化过程、召回模型主流常见算法(DeepMF/TDM/Airbnb Embedding/Item2vec等)、召回路径简介、多路召回融合]
推荐系统[三]:粗排算法常用模型汇总(集合选择和精准预估),技术发展历史(向量內积,Wide&Deep等模型)以及前沿技术
推荐系统[四]:精排-详解排序算法LTR (Learning to Rank): poitwise, pairwise, listwise相关评价指标,超详细知识指南。
推荐系统[五]:重排算法详解相关概念、整体框架、常用模型;涉及用户体验[打散、多样性],算法效率[多任务融合、上下文感知]等
推荐系统[六]:混排算法简介、研究现状混排技术以及MDP-DOTA信息流第三代混排调控框架,高质量项目实战。
推荐系统[七]:推荐系统通用技术架构(Netfilx等)、API服务接口
推荐系统[八]:推荐系统常遇到问题和解决方案[物品冷启动问题、多目标平衡问题、数据实时性问题等]
2.2 算法项目实战总结
推荐系统[八]算法实践总结V1:腾讯音乐全民K歌推荐系统架构及粗排设计
推荐系统[八]算法实践总结V2:排序学习框架(特征提取标签获取方式)以及京东推荐算法精排技术实战
推荐系统[八]算法实践总结V3:重排在快手短视频推荐系统中的应用and手淘信息流多兴趣多目标重排技术
推荐系统[八]算法实践总结V4:混排算法在淘宝信息流第四代混排调控框架实战,提升推荐实时性捕捉实时兴趣。
2.3 相关技术细节讲解
推荐系统[九]项目技术细节讲解z1:Elasticsearch 如何进行快速检索(ES倒排索引和分词原理)以及倒排索引在召回中的应用。
推荐系统[九]项目技术细节讲解z2:搜索Query理解[Term Weight、Query 改写、同义词扩写]和语义召回技术
推荐系统[九]项目技术细节讲解z3:向量检索技术与ANN搜索算法[KD树、Annoy、LSH局部哈希、PQ乘积量化、IVFPQ倒排乘积量化、HNSW层级图搜索等],超级详细技术原理讲解
推荐系统[九]项目技术细节讲解z4:向量检索技术工程上实践,曝光去重实践以及检索引擎该如何选择:支撑亿级索引、5毫秒级的检索[elasticsearch、milvus]
2.4 项目实战(含码源)
-
搜索推荐系统10项目实战系列Z2:语义检索系统快速搭建,包括语料建库-召回-排序等多个环节,涉及样本构建、模型组网、优化目标设计、模型调优、预测部署以及前端UI等模块。
-
搜索推荐系统[10]项目实战系列Z3:一套完整的文本语义检索系统搭建教学:包括召回,排序,Milvus召回系统等;可以用于文献检索,短视频推荐,站内搜索,大规模文本分类等场景。
-
搜索推荐系统[10]项目实战系列Z4:智能问答系统快速搭建–包括语料建库-召回-排序等多个环节,涉及样本构建、模型组网、优化目标设计、模型调优、预测部署以及前端UI。
-
搜索推荐系统[10]项目实战系列Z5:汽车说明书跨模态智能问答系统,针对汽车说明书(可自定义文档)进行自动问答,采用了OCR、RocketQA等技术
-
搜索推荐系统[10]项目实战系列Z6:智慧城市中政务领域的问答系统,0标注数据的问答机器人,包括语料建库-召回-排序等多个环节,涉及样本构建、模型组网、优化目标设计、模型调优、预测部署
-
搜索推荐系统[10]项目实战系列Z7:FAQ保险问答系统搭建包含训练,优化,部署上线;检索式的问答可应用在搜索引擎,智能音响等智能硬件,政府,金融,银行,电信等领域
-
搜索推荐系统[10]项目实战系列Z8:FAQ智能问答系统Pipelines搭建:包括语料建库-召回-排序等多个环节,涉及样本构建、模型组网、优化目标设计、模型调优、预测部署以及前端UI等模块。
![](https://i-blog.csdnimg.cn/blog_migrate/abf62bf04adf62e31f11424c47e1721a.gif)
3.项目实战最新篇(语义检索系统超详细搭建指南)
3.1 基于milvus实现语义系统搭建全流程
语义检索系统【一】:基于无监督预训练语义索引召回:SimCSE、Diffcse
语义检索系统【二】:基于无监督训练SimCSE+In-batch Negatives策略有监督训练的语义索引召回
语义检索系统【三】:基于Milvus 搭建召回系统抽取向量进行检索,加速索引
语义检索系统【四】:基于ERNIE-Gram的Pair-wise和基于RocketQA的CrossEncoder训练的单塔模型实现数据精排
语义检索系统【全】:基于Milvus+ERNIE+SimCSE+IBN实现学术文献语义检索系统完整版
3.2 基于ES实现语义系统搭建全流程
释放搜索潜力:基于ES打造高效的语义搜索系统,让信息尽在掌握
1.释放搜索潜力:基于ES(ElasticSearch)打造高效的语义搜索系统,让信息尽在掌握[1.安装部署篇–简洁版],支持Linux/Windows部署安装
2.释放搜索潜力:基于ES(ElasticSearch)打造高效的语义搜索系统,让信息尽在掌握[1.安装部署篇],支持Linux/Windows部署安装
3.释放搜索潜力:基于ES(ElasticSearch)打造高效的语义搜索系统,让信息尽在掌握[2.项目讲解篇],支持Linux/Windows部署安装
4… 双剑合璧:基于Elasticsearch的两路召回语义检索系统,实现关键字与语义的高效精准匹配
专栏链接:推荐系统相关技术业务落地方案及码源