博客内容皆为原创

######################尊重版权，转载注明地址######################相似度算法介绍•相似度算法主要任务是衡量对象之间的相似程度，是信息检索、推荐系统、数据挖掘等的一个基础性计算。下面重点介绍几种比较常用的相似度算法。•向量表示  通常假设对象X和Y都具有N维的特征，即  X=(x_1,x_2,…x_n)

协同过滤itembase增量计算Spark实现Controller1.      数据统计user counts:=========>8239237itemCode count:=====>7421567 spark result distinct nums ======>5826484 2.      运行子任务倒叙 3.      Spark集群

博主前期有写过协同过滤协同过滤itembase增量计算Spark实现(一)，其中已经较为基础的演示了基于欧拉距离求解相似度的过程，由于都是在一个JOB里，随着数据量的增长会出现计算耗时过长、OOM等现象，后期博主在推荐系统架构优化方面发现上述五个步骤在诸如看了还看，买了还买，相关搜索词，搜索最终购买等推荐模块存在着大量的相似，这些步骤的复用性太强，所以就开始考虑对算法模块按其计算步骤进行拆分，拆分之

当博主在写 基于spark-streaming实时推荐系统（一）， 基于spark-streaming实时推荐系统（ 二）时，心里还曾暗自窃喜：“五年多推荐系统设计研发工作，再搭一套推荐系统还不是轻松的事么！”。只有真正做了之后才知道这其中的辛酸与血泪。      首先博主前期的推荐系统经验主要是基于传统电商网站，推荐的主体是用户，推荐的内容是商品。商品只要能够满足销售的基本要素便一直是众