![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
KAFKA
Darren.P
这个作者很懒,什么都没留下…
展开
-
大数据分布式流式平台Kafka官方文档解读
文章目录Kafka简介功能应用概念核心API跟其他系统的关系分布式Topics and LogsPartition的作用多租户multi-tenancyGuaranteeshttp://kafka.apache.org/introKafka简介功能Publish and subscribe to streams of records, similar to a message queue ...翻译 2018-10-31 23:10:49 · 586 阅读 · 0 评论 -
浅谈实时流平台Kafka的消息系统设计
Many users of Kafka process data in processing pipelines consisting of multiple stages, where raw input data is consumed from Kafka topics and then aggregated, enriched, or otherwise transformed into ...原创 2018-11-04 00:21:59 · 1303 阅读 · 0 评论 -
大数据环境搭建之Kafka伪分布式环境搭建步骤详解
文章目录Kafka简介环境准备解压安装配置文件服务启动遇到问题Topic相关操作控制台生产者控制台消费者分布式集群架构topic和partition?生产者和消费者?消息保留时间?查看zookeeperKafka开发实战Kafka简介Kafka是一个消息中间件(http://kafka.apache.org/),可以提供高吞吐量、高容错、高性能的大型系统消息传送。Kafka的数据是持久的,有序...原创 2018-11-22 00:06:25 · 330 阅读 · 0 评论 -
大数据环境搭建之Kafka完全分布式环境搭建步骤详解
文章目录环境准备解压安装配置文件服务启动1、启动分布式集群的zookeeper2、启动Kafka服务伪分布式搭建完毕之后,只要稍作修改就可以变为完全分布式。环境准备Linux:CentOSZookeeper:Kafak内置了zookeeperKafka: Scala 2.11-kafka_2.11-1.0.0.tgz(asc,sha512)下载链接http://kafka.apach...原创 2018-12-23 13:10:17 · 515 阅读 · 0 评论 -
kafka编程指南之一:控制台生产者和消费者
文章目录启动Kafka创建Topic(kafka-topics.sh --create)启动生产者(kafka-console-producer.sh)启动消费者(kafka-console-consumer.sh)发送消息查看Topic情况describe列出所有的topic - - list描述一个topic情况 - -describe启动Kafka按前一篇文章大数据环境搭建之Kaf...原创 2019-01-02 02:15:05 · 2755 阅读 · 0 评论 -
Kafka编程指南之二:消息的物理存放路径
kafka编程指南之二:消息的存放路径上一篇中Topic:firsttopic PartitionCount:3 ReplicationFactor:2 Configs:Topic: firsttopic Partition: 0 Leader: 1 Replicas: 1,2 Isr: 1,2Topic: firsttopic Partition: 1 Leader: 2 Replica...原创 2019-01-13 01:42:18 · 3017 阅读 · 0 评论 -
Kafka编程指南之三:生产者API实战
文章目录搭建环境producer.send(record);consumerString String问答20181223什么是中间件?设计topic和分区的时候没有考虑到吞吐量?主要API?消息保留期传统的消息传递方法有哪些?消息队列对比三种语义前一篇文章用控制台命令实践了Kafka的消息生产和消费,接下来用Java编写生产者和消费者程序。生产者先声明一个ProducerRecord对象,包...原创 2019-01-14 01:26:00 · 257 阅读 · 0 评论