搜索 & 推荐系统技术方案总览

搜索服务必备要素

• 完整丰富的待搜索数据源；
• 高效且稳定的搜索引擎；
• 能够拥有相关性语义理解能力的智能引擎；

推荐系统必备要素

• 完整丰富的训练及测试数据集；
• 个性化千人千面的召回及排序机器学习算法，召回及排序机器学习算法决定了模型的使用范围，以及是否可以满足个性化千人千面的要求；
• 可解释且有实际意义的评价指标，验证机器学习的模型对用户的转化率是否有提升；

搜索 & 推荐 1.0 架构

• 使用业务系统及数据库的能力，建设关键词搜索，以及二次聚合筛选的能力；
• 结合 LBS 地理围栏，通过距离和评价控制排序策略；
• 使用简单的线性推荐策略完成 1.0 推荐系统；

ElasticSearch 7 基础

• 分布式搜索引擎基础原理；
• ES 7 基础语法；
• ES 7 基础应用；

ElasticSearch 进阶

• 结合 TMDB 开源数据源深入了解 ES 进阶能力；
• 理解 ES 多字段查询能力扩展；
• 理解 ES 打分原理并自定义打分逻辑；

搜索 2.0 架构基础

• 通过中文分词器完成中文分词；
• 借助 logstash-input-jdbc 完成全量及非实时增量索引构建；
• 改造点评搜索应用，升级搜索 2.0 架构；

搜索 2.0 架构进阶

• 通过定制化分词器及同义词，扩展丰富搜索的准确性；
• 通过词性分析，以及相关性重塑算法，打造可理解语义的搜索引擎；
• 通过定制化 canal 中间件，完成准实时增量索引接入，使得业务数据库的更改，可以实时反应到搜索引擎当中；

推荐 2.0 架构进阶

• 通过使用 SparkMllib 的 ALS 算法实现个性化召回体系；
• 通过使用 SparkMllib 的 LR 算法实现个性化排序体系；
• 改造点评推荐架构，升级 2.0 千人千面的个性化推荐；