SuperBigData~
大数据行业热爱者,欢迎交流学习,共同进步
展开
-
电影推荐系统项目 拓展Kafka Stream完结篇(十二)
美图欣赏:Kafka Stream一.新鲜一感二.Kafka Stream代码实现三.运行结果一.新鲜一感失败并不可怕,可怕的是你还相信这句话二.Kafka Stream代码实现注:所有的代码已经打包好了(后面有百度网盘地址链接)回顾:SparkStreaming实时消费Kafka数据任务:拓展Kafka StreamApplication类LogProcessor...原创 2020-04-30 23:39:15 · 4446 阅读 · 0 评论 -
电影推荐系统项目 SparkStreaming实时消费Kafka数据(十一)
美图欣赏:SparkStreaming实时消费Kafka数据一.新鲜一感二.实时消费kafka数据代码三.运行结果一.新鲜一感你说向日葵是怎么熬过没有太阳的夜晚的二.实时消费kafka数据代码注:所有的代码已经打包好了(后面有百度网盘地址链接)回顾:上一篇做了一部分实时推荐任务:实时计算逻辑实现从redis中获取当前最近的M次评分获取电影P最相似的K个电影 共享变量...原创 2020-04-30 20:37:16 · 4416 阅读 · 0 评论 -
电影推荐系统项目 实时推荐(十)
美图欣赏:实时推荐一.新鲜一感二.实时推荐代码一.新鲜一感愿世界上所有的爱和美好都被辜负二.实时推荐代码回顾:上一篇已经做好了, 电影相似度矩阵计算.任务:做实时推荐代码代码实现:1.StreamingRecommender类import com.mongodb.casbah.commons.{MongoDBObject, MongoDBObjectBeanIn...原创 2020-04-29 23:32:10 · 2016 阅读 · 0 评论 -
电影推荐系统项目 电影相似度矩阵计算(九)
美图欣赏:电影相似度矩阵一.新鲜一感二.电影相似度矩阵计算三.运行结果一.新鲜一感永远不要沉迷过去,那样只会无限消耗自己二.电影相似度矩阵计算回顾:上一篇离线开发已经做完,ALS模型也进行了优化任务:现在开始进行实时开发模块代码实现:OfflineRecommender类:package com.Jackson.offlineRecommenderimpo...原创 2020-04-28 10:27:57 · 3062 阅读 · 0 评论 -
电影推荐系统项目 协同过滤ALS模型优化(八)
美图欣赏:ALS模型优化一.新鲜一感二.ALS优化实现三.优化结果一.新鲜一感就这一年,我突然爱上了钱,往年里,我都在爱人二.ALS优化实现回顾:上一篇文章已经将协同过滤统计结果写入Mongodb任务:将ALS模型进行优化代码实现:package com.Jackson.offlineRecommenderimport breeze.numerics.sqrt...原创 2020-04-26 22:32:44 · 4069 阅读 · 0 评论 -
电影推荐系统项目 使用协同过滤算法做离线推荐(七)
美图欣赏:协同过滤算法做离线推荐一.新鲜一感二.协同过滤任务三.协同过滤代码实现四.协同过滤结果一.新鲜一感在大雨中被风吹坏了一把????,有些人学会买坚固的伞,则有些人学会了雨天不出门二.协同过滤任务注:所有的代码和资料已经打包好了(后面有百度网盘地址链接)回顾:上一篇文章已经将离线代码统计的数据已经写入了MongoDB任务:协同过滤统计结果写入Mongodb开发环境:...原创 2020-04-26 22:15:07 · 1116 阅读 · 0 评论 -
电影推荐系统项目 离线统计数据到MongoDB(六)
美图欣赏:离线数据统计一.新鲜一感二.离线统计任务三.离线代码实现四.离线统计结果一.新鲜一感热爱自己,心无旁骛二.离线统计任务注:所有的代码已经打包好了(后面有百度网盘地址链接)回顾:上俩篇文章已经将数据已经写入了MongoDB,ES任务:离线代码统计统计评分最多电影统计近期热门电影平均电影评分按类别统计 平均分最高的Top10A.在recommend...原创 2020-04-25 20:20:55 · 4230 阅读 · 0 评论 -
电影推荐系统项目 将2千万数据写入ES(五)
美图欣赏:一.新鲜一感我们都曾不堪一击,但终将刀枪不入二.将数据写入ES注:所有的代码已经打包好了(后面有百度网盘地址链接)之前将数据写入了MongoDB,现在开始将数据写入ES.1.DataLoaderTest 类package com.Jackson.testimport java.net.InetAddressimport com.mongodb.casbah....原创 2020-04-09 03:11:44 · 945 阅读 · 3 评论 -
电影推荐系统项目 将2千万数据写入MongoDB(四)
美图欣赏:一.新鲜一感放弃不难,但坚持一定很酷,赢要有气势,输要有气质二.数据写入MongoDB和ES需要在com.Jackson.test包建下一个DataLoaderTest类(代码主要实现类)需要在com.Jackson.test包建下建一个ModelTesr类(数据进行封装类)注:在resources下,添加一个log4j.peoperties文件百度网盘链接:永...原创 2020-04-04 02:57:48 · 5061 阅读 · 0 评论 -
电影推荐系统项目 搭建IDEA开发环境(三)
美图欣赏:一.新鲜一感你要学会长大,才能抵得过流言蜚语二.项目开发环境搭建介绍1.这个项目,一共分为三层。第一层:RecommendSystem第二层:recommender第三层:dataloader2.可以看下环境构建好的框架图:从上到下,一次分为三层三.如何搭建注:前提是有自己的maven依赖库1.创建好的第一层RecommendSystem再次...原创 2020-03-21 13:05:13 · 1271 阅读 · 2 评论 -
电影推荐系统项目 集群环境搭建(二)
美图欣赏:一.新鲜一感世间的美好是及时努力的你二.集群环境介绍1.下面是推荐项目,用到的所有安装包这里搭建的都是单节点的,相对来说已经足够了注:百度网盘安装包链接:永久有效链接:https://pan.baidu.com/s/1r9rwyzSQio_TbrXcI3tJ4g 提取码:zyhb三.搭建环境前,准备事项注意1:这里需要提前声明一下,虚拟机的配置内存...原创 2020-03-20 16:08:39 · 1300 阅读 · 4 评论 -
电影推荐系统项目 介绍(一)
美图欣赏:一.新鲜一感半山腰总是挤的,记得上山顶看看,那里有最好的星空二.项目介绍1.、推荐系统是什么?信息过载时代所采用的措施。面对海量的数据信息,从中快速推荐出符合用户特点的物品。受众:没有明确需求的人;"选择困难症"。没有推荐系统: 分类目录,搜索引擎 有弊端:信息量小,不够个性化 推荐系统是自动化的通过分析用户的历史行为数据,完成用户的个性化建模,从而...原创 2020-03-19 18:04:24 · 6140 阅读 · 0 评论