基于spark-streaming实时推荐系统(三)

      当博主在写 基于spark-streaming实时推荐系统(一) 基于spark-streaming实时推荐系统( 二)时,心里还曾暗自窃喜:“五年多推荐系统设计研发工作,再搭一套推荐系统还不是轻松的事么!”。只有真正做了之后才知道这其中的辛酸与血泪。

      首先博主前期的推荐系统经验主要是基于传统电商网站,推荐的主体是用户,推荐的内容是商品。商品只要能够满足销售的基本要素便一直是众多商品推荐池中的一份子,这样的大背景的有几个优势:1.待推荐结果集百万千万级;2.无需实时考虑商品状态是否可售;3.可以直观的反馈商品相似度;4.商品容易分类等。可以设想一种新的推荐场景:虽然推荐主体依旧还是用户,但是推荐的内容是人。人存在着诸多的不确定性,不能保证人状态的长期有效,也无法准确的通过除了性别之外的标签去完全准确无误的将人进行分类。

  • 2
    点赞
  • 22
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
1.项目代码均经过功能验证ok,确保稳定可靠运行。欢迎下载体验!下载完使用问题请私信沟通。 2.主要针对各个计算机相关专业,包括计算机科学、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师、企业员工。 3.项目具有丰富的拓展空间,不仅可作为入门进阶,也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。在使用过程中,如有问题或建议,请及时沟通。 5.期待你能在项目中找到乐趣和灵感,也欢迎你的分享和反馈! 【资源说明】 基于spark-streaming框架的实时计算系统源码+项目说明.zip 项目架构: 开发语言:Scala、Java 计算框架:Spark-Streaming 数据库:Redis、Elasticsearch 消息队列:Kafka 数据采集:Maxwell(离线)、Spark-Streaming实时) 数据可视化:Spring-Boot、Echart 项目流程: 1、产生数据到MySQL; 2、使用Maxwell把数据从MySQL采集到Kafka; 3、ODS层Spark-Streaming从Kafka消费数据,对消费的数据进行分流处理,维度数据写入Redis,事实数据重新写入Kafka的不同主题; 4、DWD层Spark-Streaming再从相应的Kafka主题中消费数据,进行数据处理,写入到Elasticsearch; 5、通过Spring-Boot开发相关接口,从写入到Elasticsearch中读取数据并展示。 项目亮点: 解决从Kafka中消费数据时的漏消费、重复消费以及读取数据时的顺序问题。 publisher-realtime——数据可视化模块 sparkStreaming-realtime——实时计算模块

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值