may_fly的博客

原创 spark streaming背压机制

spark streaming背压机制背压机制产生的背景背压(back pressure)机制主要用于解决流处理系统中，业务流量在短时间内剧增，造成巨大的流量毛刺，数据流入速度远高于数据处理速度，对流处理系统构成巨大的负载压力的问题。如果不能处理流量毛刺或者持续的数据过高速率输入，可能导致Executor端出现OOM的情况或者任务崩溃。旧版背压机制(spark1.5之前)旧版架构图r...