项目中遇到过哪些问题
- 8.1 Hadoop宕机
- 8.2 Ganglia监控
- 8.3 Flume小文件
- 8.4 Kafka挂掉
- 8.5 Kafka消息数据积压,Kafka消费能力不足怎么处理?
- 8.6 Kafka数据重复
- 8.7 Mysql高可用
- 8.8 自定义UDF和UDTF解析和调试复杂字段
- 8.9 Sqoop数据导出Parquet
- 8.10 Sqoop数据导出控制
- 8.11 Sqoop数据导出一致性问题
- 8.12 SparkStreaming优雅关闭
- 8.13 Spark OOM、数据倾斜解决
8.1 Hadoop宕机
(1)如果MR造成系统宕机。此时要控制Yarn同时运行的任务数,和每个任务申请的最大内存。调整参数:yarn.scheduler.maximum-allocation-mb