streaming入门

目录

一.streaming简介

1. 概念
2. 特点

二.streaming系统架构

1. storm数据处理模型（topology）
2. 系统架构
3. 运行流程
4. task介绍

三.streaming关键特性

1. HA
2. 消息可靠些
3. ACK机制

一.streaming简介

1.概念

streaming：是一个计算框架，基于开源storm
storm：是一个实时处理，流式处理的引擎。它是独立的(spark是基于hadoop的)，开源的，免费的。

微批处理：spark 批处理：mapreduce
storm是流式处理的：数据来一条就处理一条（打开后一直运行，手动kill进程，进程才会结束）

2.特点

• 分布式：数据分布给多个节点并行处理
  2. 实时：来一条数据处理一条

二.streaming系统架构

1.storm数据处理模型(topology)

• spout：