flume kafka storm

flume：

分布式的日志收集系统。
作用就是监控数据

三个组件：
agent=source+channel+sink

• source：数据源 各种数据源。
• channel：在sink组件确保数据准确无误的送到目的地之后，暂时存在channel中的数据就会被清除，目的是为了保证数据的安全性。
• sink：下沉 把数据发送到某一个地方去 可以送到任何地方去。

组件之间的数据传递方式：
整体来说是通过flow(数据流)的形式传递数据。
内部是通过很多个event传递数据。
event是flume数据传递的最小单元
每个event里都包含数据的元数据和真实数据
如果是文本文档的话，每个event都会携带一行数据。

配置文件：
可以有很多个配置文件，每个配置文件都有自己的source和sink。
内容三大模块：
a.对agent和agent里的每个组件进行命名
b.分别对source，channel，sink进行配置
c.各个组件之间通过名字进行连接组合

启动服务：

flume-ng agent --name a1 --conf conf --conf conf/xxx -Dflume.roor.logger=INFO,console &

几种数据的传递方式：
1.socket
2.ftp：文件共享服务器
3.共享数据库
4.消息系统

中间件的好处：
1.系统解耦
2.削峰填谷
3.数据交换
4.异步通知
5.定时任务

kafka:

就是一个分布式的，可分区的，可复制的消息队列
分布式的：数据是存储在集群中的不同节点上
可分区的：同一个主题下，可以对数据进行分区
可复制的：在同一个分区下，由leader和follower保证有设置的副本份数

组成：

• producer：生产者
• broker：一个broker就是一个kafka的服务，消息中间件
• consumer：消费者
• zookeeper：用来协调生产者和消费者之间的节点的资源调度
• topic：主题，用来对数据进行分类的依据
• partition：分区，对同一个主题下的数据进行多分区存储

storm：

纯实时的计算框架

storm和sparkStreaming的区别：

• 响应时间：
  storm的响应时间为毫秒级别
  sparkStreaming的响应时间为秒级
• 处理方式：
  storm是纯实时，使用流处理方式。
  sparkStreaming是伪实时，使用微批次处理方式。

应用场景：
如果说场景为对响应时间要求特别高的情况，必须要选择纯实时框架。
如果对响应时间没有特别高需求的话，sparkStreaming是性价比较高的选择

storm几个关键词：

• 主节点：集群中的负责全局任务的分配的节点，全局只有一个。
• 从节点/工作节点：集群中具体执行内容的节点，全局可以有多个。
• nimbus：主节点上启动的守护进程，负责整体的任务调度。
• supervisor：
  从节点上启动的守护进程，负责分配给他那部分的任务调度
  根据实际情况开启或关闭worker进程。
• worker：在每个从节点中，启动的执行任务的进程。每个节点可以有多个
• executer：进程里的线程。
• task：线程中的并行度。最小的计算单元
• zookeeper：对于nimbus，supervisor，worker保持心跳机制。
• topology：拓扑。storm中提交的任务。全局只有一个，不受数据限制。
• spout：topology中负责发送数据的组件。
• bolt：
  topology中负责处理数据的组件，每个步骤都是一个bolt
  可以接收spout和其他bold传来的数据。
• tuple：storm计算过程中的最小的数据单元。
• task里执行tuple。最小的计算单元处理最小的数据单元。

topology：
拓扑，是storm提交的任务。

内部有两类组件：

• spout:
  只负责发送数据。可以有多个，但是一般是在最开始的位置。
• bolt:
  接收spout或者其他bolt传递过来的数据。可以有多个。

执行：
进程：执行topology。
线程：在进程中可以有很多线程，每个线程处理一个spout或一个bolt组件。
并行度：最小的计算单元，处理的是最小的数据单元tuple。

分组：
对于task内的tuple的流动有不同的分组方式：
1.shuffle grouping：随机分组，尽量平均。
2.none grouping：不分组，相当于是随机分组
3.field grouping：按字段分组
4.direct grouping：直接分组
5.all grouping：广播发送
6.global grouping：全局分组