kafka

1.缺乏一个处理持续数据流的组件，架构组不想仅开发一个存储数据的系统，他们希望能够把数据看成是持续变化和不断增长的流，
基于这样的想法开发出这样以一个数据架构出来。


2. kafka角色和与其他系统的区别
    1.有点像消息系统，允许发布和订阅消息流，但又不同，它以集群方式运行，其次可以按照你的要求存储数据
       ，保存多久都可以。最后，kafka的流处理能力让你用个很少的代码就能够动态地处理派生流和数据集。


     2.kafka实时版的hadoop，hadoop可以存储和定期处理大量数据文件，而kafka可以存储和持续处理大型的数据流，并且最大不同体现
       在持续的低延迟和批处理之间的差异上。hadoop主要应用在数据分析上，而kafka由于其低延迟的特点更适合用在核心的业务应用上。kafka能够及时地对这些事件作出响应。


      3.kafka和其他ETL或者数据集成工具做了比较，并不是将一个系统的数据拆解出来再塞进另外一个系统，它其实是一个面向实时数据流的平台，它不仅可以将现有的应用系统和数据系统连接起来，它还能用于加强这些触发相同数据流的应用。