推荐系统的技术栈

在这里插入图片描述

存储系统:Habse是基于HDFS的一种数据库,Hbase的文件是存储在HDFS系统之上的。(解决了数据存储问题)
采集组件:sqoop(针对RDMS关系型数据库的数据进行采集,订单,交易,还有浏览,收藏的)
flume(实时的,比如用户点击的网页的图片和商品,这种点击流)
kaffka(第三方消息队列框架,可靠性好)

storm:流处理
Yarn:对资源进行分配,基于管理员配置的策略
HIve,Pig,Spark对结构化数据进行存储
MLlib:数据挖掘,实现推荐
Oozie:整体调度
Zookeeper:失败切换,多并发访问,提供请求响应
Ambari:提供图形化

在这里插入图片描述
SparkSQL:数据框dataafream
Spark Streaming:RDD,流数据
MLlib:机器学习数据模型库
GraphX:图计算
Packages:各种包
数据源:hadoop的HDFS,mysql,Json

除此以外,还需要mySQL,redis,web等

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值