大数据项目常见问题与解决方案
本文列举了大数据项目中遇到的问题及其解决方案，包括Hadoop宕机、Ganglia监控、Flume小文件处理、Kafka故障及数据积压、数据重复、MySQL高可用、Spark Streaming的优雅关闭以及数据倾斜等问题，提供了具体的优化和调整策略。
项目中遇到过哪些问题
- 8.1 Hadoop宕机
- 8.2 Ganglia监控
- 8.3 Flume小文件
- 8.4 Kafka挂掉
- 8.5 Kafka消息数据积压，Kafka消费能力不足怎么处理？
- 8.6 Kafka数据重复
- 8.7 Mysql高可用
- 8.8 自定义UDF和UDTF解析和调试复杂字段
- 8.9 Sqoop数据导出Parquet
- 8.10 Sqoop数据导出控制
- 8.11 Sqoop数据导出一致性问题
- 8.12 SparkStreaming优雅关闭
- 8.13 Spark OOM、数据倾斜解决
8.1 Hadoop宕机
（1）如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数：yarn.scheduler.maximum-allocation-mb（
最低0.47元/天 解锁文章
扫一扫
1734
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
