架构需要
(1)简单:一个业务使用一个框架,业务线越长,故障率越高; 一个环节要M个监控,N个警告
(2)合适自己的需求:架构需要满足自己的业务需求,不要超标
(3)可迭代
离线分析的过程
- 数据采集: flume...
- 数据处理: (1) ETL:数据规整,数据存放在hdfs之上; (2)数据分析:mapreduce、hive、spark、flink a.基于meta,用sql搞定; b. 基于HBase (3)结果: RDBMS/NoSQL
- 可视化
注:maven遇到jar的版本冲突:
- 找到哪个包冲突
- 去掉非本jar依赖的jar:只需要ga
- 加上本jar依赖的jar:gav都需要