kafka
LlnkTo
这个作者很懒,什么都没留下…
展开
-
kafka精炼之kafka介绍(1)
Kafka介绍2017年11月9日10:11概述官方网址:http://kafka.apache.org/以下摘自官网的介绍:Apache Kafka® isa distributed streaming platform. What exactly does that mean?We think of a streaming pl...原创 2019-07-27 08:50:54 · 212 阅读 · 0 评论 -
kafka精炼之环境搭建(2)
二、环境搭建Step 1: 下载Kafka点击下载最新的版本并解压.> tar -xzf kafka_2.9.2-0.8.1.1.tgz > cd kafka_2.9.2-0.8.1.1复制代码Step 2: 启动服务Kafka用到了Zookeeper,所有首先启动Zookper,下面简单的启用一个单实例的Zookkeeper服务。可以在命令的结尾加个&符号,这...翻译 2019-07-27 08:51:39 · 239 阅读 · 0 评论 -
kafka精炼之搭建Kafka开发环境(3)
三、搭建Kafka开发环境我们搭建了kafka的服务器,并可以使用Kafka的命令行工具创建topic,发送和接收消息。下面我们来搭建kafka的开发环境。添加依赖搭建开发环境需要引入kafka的jar包,一种方式是将Kafka安装包中lib下的jar包加入到项目的classpath中,这种比较简单了。不过我们使用另一种更加流行的方式:使用maven管理jar包依赖。创建好maven项目后,在po...翻译 2019-07-27 08:53:30 · 234 阅读 · 0 评论 -
kafka精炼之数据持久化(4)
四、数据持久化不要畏惧文件系统!Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢,这使很多人怀疑基于文件系统的架构能否提供优异的性能。实际上硬盘的快慢完全取决于使用它的方式。设计良好的硬盘架构可以和内存一样快。在6块7200转的SATA RAID-5磁盘阵列的线性写速度差不多是600MB/s,但是随即写的速度却是100k/s,差了差不多6000倍。现代的操作系统都对...翻译 2019-07-27 09:06:41 · 242 阅读 · 0 评论 -
kafka精炼之消息传输的事务定义(5)
五、消息传输的事务定义之前讨论了consumer和producer是怎么工作的,现在来讨论一下数据传输方面。数据传输的事务定义通常有以下三种级别:最多一次: 消息不会被重复发送,最多被传输一次,但也有可能一次不传输。最少一次: 消息不会被漏发送,最少被传输一次,但也有可能被重复传输.精确的一次(Exactly once): 不会漏传输也不会重复传输,每个消息都传输被一次而且仅仅被传输一...翻译 2019-07-27 09:07:31 · 601 阅读 · 0 评论 -
kafka精炼之性能优化(6)
六、性能优化Kafka在提高效率方面做了很大努力。Kafka的一个主要使用场景是处理网站活动日志,吞吐量是非常大的,每个页面都会产生好多次写操作。读方面,假设每个消息只被消费一次,读的量的也是很大的,Kafka也尽量使读的操作更轻量化。我们之前讨论了磁盘的性能问题,线性读写的情况下影响磁盘性能问题大约有两个方面:太多的琐碎的I/O操作和太多的字节拷贝。I/O问题发生在客户端和服务端之间,也发生在服...翻译 2019-07-27 09:08:20 · 193 阅读 · 0 评论