![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
u010020099
这个作者很懒,什么都没留下…
展开
-
Kafka安装部署
备注:本文只阐述Kafka的安装,不涉及其他的理论知识(后面的文章中会依次详解介绍Kafka的理论知识),并且是单机版Kafka安装。一、Kafka的下载网址:http://kafka.apache.org/downloads在这里需要注意:下载的Kafka的版本必须和jdk要对应起来,本人安装的jdk为1.7,第一次是下载了2.0.0,发现需要的jdk必须为1.8;后面重新下载了...原创 2018-08-31 17:16:07 · 797 阅读 · 0 评论 -
kafka 入门实例(eclipse+java)
1. 先导入相关的Jar包 2.生产者端的代码package demo1;import java.util.Properties;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerRecord;import or...原创 2018-09-04 12:44:22 · 1676 阅读 · 1 评论 -
kafka数据可靠性深度解读
kafka数据可靠性深度解读本文来自Info1 概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。Kafka凭借...原创 2018-09-04 21:17:29 · 177 阅读 · 0 评论 -
Kafka的生成者、消费者、broker的基本概念
kafka是一款基于发布与订阅的消息系统。它一般被称为“分布式提交日志”或者“分布式流平台”。文件系统或者数据库提交日志用来提供所有事物的持久化记录,通过重建这些日志可以重建系统的状态。同样地,kafka的数据是按照一定顺序持久化保存的,可以按需读取。 1、kafka拓扑结构 2、Kafka的特点 同时为分布和订阅提供高吞吐量。据了解,Kafka每秒可以...原创 2018-09-03 09:33:19 · 77191 阅读 · 6 评论 -
Kafka实现内部机制(持久化和通信协议)
源文章地址:https://blog.csdn.net/ZuoAnYinXiang/article/details/50902425一.Kafka的持久化1.数据持久化: 线性的访问磁盘(即:按顺序的访问磁盘),很多时候比随机的内存访问快得多,而且有利于持久化 传统的使用内存做为磁盘的缓存 Kafka直接将数据写入到日志文件中,以追加的形式写入2.日志...转载 2018-09-03 10:19:01 · 2118 阅读 · 0 评论 -
Kafka在zookeeper里面的存储结构详解
当kafka启动的时候,就会向zookeeper里面注册一些信息,这些数据也称为Kafka的元数据信息。一、zookeeper存储结构总图1.根目录下的结构[zk: localhost:2181(CONNECTED) 72] ls /[isr_change_notification, zookeeper, admin, consumers, cluster, config...原创 2018-09-03 16:06:13 · 2801 阅读 · 0 评论 -
Kafka副本同步机制理解
原文地址:https://blog.csdn.net/lizhitao/article/details/51718185 Apache Kafka的流行归功于它设计和操作简单、存储系统高效、充分利用磁盘顺序读写等特性、非常适合在线日志收集等高吞吐场景。Apache Kafka特性之一是它的复制协议。对于单个集群中每个Broker不同工作负载情况下,如何自动调优Kafka副本的工作方式是...转载 2018-09-03 17:18:02 · 228 阅读 · 1 评论