大数据之项目需求及架构设计

1、项目需求

• 1、用户行为数据采集平台搭建
• 2、业务数据采集平台搭建
• 3、数据仓库维度建模
• 4、采用即席查询工具，随时进行指标分析
• 5、对集群性能进行监控，发生异常需要报警
• 6、元数据管理
• 7、质量监控
• 8、权限管理

2、技术选型

2.1 技术选型

技术选型主要考虑因素：数据量大小、业务需求、行业经验、技术成熟度、开发维护成本、总成本预算

• 数据采集传输：Flume,Kafka,Sqoop,Logstash,DataX
• 数据存储：MySQL、HDFS、HBase、Redis、MongDB
• 数据计算：Hive、Tez、Spark、Flink、Storm
• 数据查询：Presto、Kylin、Impala、Druid、ClickHouse、Doris
• 数据可视化：Echarts、Superset、QuickBI、DataV
• 任务调度：Azkaban、Oozie、DolphinScheduler、Airflow
• 集群监控：Zabbix、Prometheus
• 元数据管理：Altas
• 权限管理：Ranger、Sentry

2.2 系统数据流程设计