![](https://img-blog.csdnimg.cn/82c1e54e862d42b7b9d6a1214357c551.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
——Kafka
文章平均质量分 93
Kafka是一种高吞吐量的分布式发布订阅消息系统.
脸ル粉嘟嘟
BigDate.我命由我!
展开
-
kafka的介绍
ApacheKafka®是一个分布式流媒体平台。这到底是什么意思呢?流媒体平台有三个关键功能:发布和订阅记录流,类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 记录发生时处理流。Kafka通常用于两大类应用:构建可在系统或应用程序之间可靠获取数据的实时流数据管道 构建转换或响应数据流的实时流应用程序要了解Kafka如何做这些事情,让我们深入探讨Kafka的能......翻译 2018-11-21 22:15:50 · 603 阅读 · 0 评论 -
kafka使用说明书
首先要打开zookeeper,其次打开kafka,关闭时要先关闭kafka再关闭zookeeper启动zookeeperzookeeper-server-start.sh config/zookeeper.properties启动kafkakafka-server-start.sh config/server.properties停止kafkakafka-server-...原创 2018-11-29 21:29:50 · 435 阅读 · 0 评论 -
Kafka部署
搭建环境Zookeeper-3.4.6Scala-2.11Kafka_2.11-0.10.0.1.JDK-1.8下载地址:Zookeeper:http://mirror.bit.edu.cn/apache/zookeeper/current/Scala:http://www.scala-lang.org/download/2.11.8.htmlKafka:http://ka...原创 2019-03-07 13:33:48 · 126 阅读 · 0 评论 -
kafka&&sparkstreaming整合入门之Wordcount
Kafka项目在版本0.8和0.10之间引入了一个新的消费者API,因此有两个单独的对应Spark Streaming包可用。请为您的代理选择正确的包和所需的特性;请注意,0.8集成与后来的0.9和0.10代理兼容,但是0.10集成与前面的代理不兼容。一、代码/*** @author Mr.lu* @Title: KafkaStreamingWordCount* @Pro...原创 2018-12-04 19:00:22 · 163 阅读 · 0 评论 -
kafka幂等producer
众所周知,Kafka 0.11.0.0版本正式支持精确一次处理语义(exactly once semantics,下称EOS)。Kafka的EOS主要体现在3个方面:幂等producer:保证发送单个分区的消息只会发送一次,不会出现重复消息 事务(transaction):保证原子性地写入到多个分区,即写入到多个分区的消息要么全部成功,要么全部回滚 流处理EOS:流处理本...原创 2018-11-20 21:10:20 · 612 阅读 · 0 评论