![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Apache Kafka
Jonathan-Wei
hadoop开发,storm实时计算开发;
展开
-
【Apache KafKa系列之一】KafKa安装部署
kafka是一种高吞吐量的分布式发布订阅消息系统,她有如下特性:通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量:即使是非常普通的硬件kafka也可以支持每秒数十万的消息。支持通过kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。卡夫卡的目的是提供一个发布订阅解决方案,它可以处理消费者规模的网站中原创 2014-01-10 10:37:50 · 29203 阅读 · 0 评论 -
【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS 实时系统搭建
技术交流群:59701880 深圳广州hadoop好友会微信公众号:后续博客的文档都会转到微信公众号中。一直以来都想接触Storm实时计算这块的东西,最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档,自己也跟着整了一遍,之前罗宝的文章中有一些要注意点没提到的,以后一些写错的点,在这边我会做修正;内容应该说绝大部分引用罗宝的文章的,这里要谢谢罗宝兄弟,还有...原创 2014-01-15 09:59:05 · 47789 阅读 · 31 评论 -
大数据生态圈之流式数据处理框架选择(Storm VS Kafka Streams VS Spark Streaming VS Flink VS Samza)
微信公众号(SZBigdata-Club):后续博客的文档都会转到微信公众号中。 1、公众号会持续给大家推送技术文档、学习视频、技术书籍、数据集等。 2、接受大家投稿支持。 3、对于各公司hr招聘的,可以私下联系我,把招聘信息发给我我会在公众号中进行推送。 技术交流群:59701880 深圳广州hadoop好友会 随着新设备,传感器和技术的出现,数据增长率在不断加速,根据...原创 2018-11-08 17:09:48 · 2250 阅读 · 0 评论