- 博客(1)
- 收藏
- 关注
原创 项目需求分析及设计思想
1.1 数据收集主要数据类别:用户行为日志数据,业务数据,历史数据,其他等数据行为日志一般以日志文件存在的,把日志生成在日志服务器上.使用flume等采集业务数据 一般在mysql 一般用sqoop工具采集1.2处理流程行为数据:1, 日志前端埋点,生成日志数据(前端开发)2, 数据采集 flume采集3, 从flume采集kafka4, Flume采集落地hdfs5,日志预处理6,落hive数仓明细层1, 业务系统增删改数据库,形成数据...
2020-08-17 17:30:02 464
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人