![](https://img-blog.csdnimg.cn/20190927151043371.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据项目
文章平均质量分 60
大数据项目
紫金小飞侠
这个作者很懒,什么都没留下…
展开
-
Ganglia 分布式硬件监控系统
Ganglia 分布式监控系统ganglia监控kafkaGanglia 监控Ganglia监控spark1.6.1ganglia收集hbase的metrics原创 2021-06-07 16:29:29 · 99 阅读 · 0 评论 -
离线--千亿级数仓项目-黑马
大数据数仓项目简介业务流程本次数仓业务流程主要分为两类,一类是用户下单、提交订单、支付、退款这一条线,另一类是我们收集用户的页面行为数据:用户搜索商品、添加购物车 、提交订单、支付订单 的日志数据,分析电商网站常见的PV,UV,GMV,GMV (Gross Merchandise Volume):主要是指网站的成交金额,而这里的成交金额包括:付款金额和未付款。千亿级数仓模仿阿里巴巴双十一的大屏显示功能实现的互联网电商指标的离线分析,同时也模仿了阿里巴巴大数据平台上面数据仓库的设计思想和理念。原创 2021-05-04 09:25:48 · 952 阅读 · 0 评论 -
实时--千亿级数仓项目-黑马
state(状态):可以看成一个中间结果存储系统。将source -> map -> faile->rdurce ->…-> sink 每个算子的计算成功结果存储起来,方便系统宕机重启后直接中状态存储中拿出计算结果继续计算,不必再重新计算。1. 使用到的技术Canal客户端采集binlog消息 (mysql->kafka/hdfs)理解google ProtoBuf序列化方式 (提高网络传输效率)2.实时计算应用场景及技术选型实时计算在公司的用处公司内已原创 2021-05-03 17:06:36 · 1276 阅读 · 1 评论