- 博客(1)
- 收藏
- 关注
原创 项目需求分析及设计思想
1.1 数据收集 主要数据类别: 用户行为日志数据,业务数据,历史数据,其他等数据 行为日志一般以日志文件存在的,把日志生成在日志服务器上.使用flume等采集 业务数据 一般在mysql 一般用sqoop工具采集 1.2处理流程 行为数据: 1, 日志前端埋点,生成日志数据(前端开发) 2, 数据采集 flume采集 3, 从flume采集kafka 4, Flume采集落地hdfs 5,日志预处理 6,落hive数仓明细层 1, 业务系统增删改数据库,形成数据 ...
2020-08-17 17:30:02
456
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人