Streaming特性和适用场景

Streaming简介

在这里插入图片描述

应用场景

在这里插入图片描述

组件布署

在这里插入图片描述

Spark Streaming 和 Streaming的区别

在这里插入图片描述

Spark Streaming 和 Streaming取舍

在这里插入图片描述
大于秒级别:Spark/MapReduce都可以

Streaming架构

Streaming概念

在这里插入图片描述

  • 拓扑
    在这里插入图片描述
  • streaming处理过程
    在这里插入图片描述
  • Worker
    在这里插入图片描述
  • Task
    在这里插入图片描述
    Spout和Bolt连接,依靠Stream Grouping
    在这里插入图片描述

Stream Grouping —消息分发策略

在这里插入图片描述

Streaming特性

Nimbus HA

在这里插入图片描述

Stream容灾能力

在这里插入图片描述
👆
自动迁移

Stream消息自动传输

在这里插入图片描述
最少一次——Stream/kafka

Streaming最少一次——ACK机制

在这里插入图片描述

可靠设置

在这里插入图片描述

与其他组件

在这里插入图片描述
left kafka:临时缓存
实时场景,数据不落地——数据处理之前不落地,处理以后,存在相应位置

Streaming API

在这里插入图片描述

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 游动-白 设计师:上身试试 返回首页