本文详细介绍了大数据项目的具体需求，包括用户行为和业务数据的采集，数据仓库建模，实时查询分析，集群监控与报警，元数据和权限管理。在技术选型方面，涉及数据采集、存储、计算、查询、可视化、任务调度、监控和元数据管理等多个环节，推荐了相应的技术和工具。同时，讨论了Apache、CDH、HDP版本的选择，以及物理机和云服务的优缺点。最后，针对集群规模和资源规划给出了实际案例。
1、项目需求
- 1、用户行为数据采集平台搭建
- 2、业务数据采集平台搭建
- 3、数据仓库维度建模
- 4、采用即席查询工具，随时进行指标分析
- 5、对集群性能进行监控，发生异常需要报警
- 6、元数据管理
- 7、质量监控
- 8、权限管理
2、技术选型
2.1 技术选型
技术选型主要考虑因素：数据量大小、业务需求、行业经验、技术成熟度、开发维护成本、总成本预算
- 数据采集传输：Flume,Kafka,Sqoop,Logstash,DataX
- 数据存储：MySQL、HDFS、HBase、Redis、MongDB
- 数据计算：Hive、Tez、Spark、Flink、Storm
- 数据查询：Presto、Kylin、Impala、Druid、ClickHouse、Doris
- 数据可视化：Echarts、Superset、QuickBI、DataV
- 任务调度：Azkaban、Oozie、DolphinScheduler、Airflow
- 集群监控：Zabbix、Prometheus
- 元数据管理：Altas
- 权限管理：Ranger、Sentry
2.2 系统数据流程设计
最低0.47元/天 解锁文章
扫一扫
5256
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
