项目总结 一 (概要设计与流量域)
我们公司使用的项目是一个大数据运营系统,主要类型是一些电商平台的运营系统,我主要是负责项目架构的总体设计和技术调研, 数据处理分析代码开发,需求沟通,集群搭建,平台集群监控以及数据平台的相关调优等我在公司主要做etl开发,dwd层到dws层开发业务的,我在里面主要是做数据平台开发,项目的整体大概是这样的1.1日志采集和业务数据抽取项目在pc端和app端进行埋点采集日志,埋点数据按主题生产到kafka 的topic里面,项目当时日志采集用的是flume消费kafka(kafka的ac...
原创
2020-08-17 11:02:32 ·
645 阅读 ·
0 评论