Spark生产实战1

架构需要

        （1）简单：一个业务使用一个框架，业务线越长，故障率越高； 一个环节要M个监控，N个警告

        （2）合适自己的需求：架构需要满足自己的业务需求，不要超标

        （3）可迭代

离线分析的过程

1. 数据采集： flume...
2. 数据处理：  （1） ETL:数据规整，数据存放在hdfs之上； （2）数据分析：mapreduce、hive、spark、flink  a.基于meta，用sql搞定； b. 基于HBase (3)结果： RDBMS/NoSQL
3. 可视化

注：maven遇到jar的版本冲突：

• 找到哪个包冲突
• 去掉非本jar依赖的jar：只需要ga
• 加上本jar依赖的jar：gav都需要