大数据平台与kafka

为什么大数据平台需要引入kafka呢？是用来解决什么问题呢？

我读到一篇文章，秒速的很好，这里引入，作为笔记记录一下

场景一：我们开发过一个设备信息挖掘平台。这个平台需要实时将采集互联网关采集到的路由节点的状态信息存入数据中心。通常一个网关一次需要上报几十甚至几百个变化的路由信息。全区有几万个这种互联网关。当信息采集平台将这些变化的数据信息写入或更新到数据库时候，会给数据库代理非常大的压力，甚至可以直接将数据库搞挂掉。这就对我们的数据采集系统提出了很高的要求。如何稳定高效地把消息更新到数据库这一要求摆了出来。

为了解决以上场景提出的问题，我们需要这样一个消息系统：

缓冲能力，系统可以提供一个缓冲区，当有大量数据来临时，系统可以将数据可靠的缓冲起来，供后续模块处理

订阅、分发能力，系统可以接收消息可靠的缓存下来，也可以将可靠缓存的数据发布给使用者

Kafka是一个分布式的、高吞吐的、基于发布/订阅的消息系统。利用kafka技术可以在廉价PC Server上搭建起大规模的消息系统。Kafka具有消息持久化、高吞吐、分布式、实时、低耦合、多客户端支持、数据可靠等诸多特点，适合在线和离线的消息处理。

作者：丨程序之道丨
链接：https://www.jianshu.com/p/762c650bf182
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。