Kafka
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。
weixin_43563705
将自己的所学到的知识分析给大家
展开
-
Kafka知识点总结
Kafka知识点总结1、Kafka生态系统四大角色,生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、zookeeper2、每个消费者都必须属于一个消费组,一个组内的消费者可以多个。3、一个Topic可以有1到多个多个分区(Partition)4、一个分区可以有1到多个segment。5、每个segment可以有由一个log和一个index组成。...原创 2020-03-24 20:41:33 · 4393 阅读 · 2 评论 -
KafkaJavaApi操作:练习题(九)
题目代码创建Topic主题为18BD-40 分区为3 副本为2 bin/kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --replication-factor 2 --partitions 3 --topic 18BD-40Producer public static void...原创 2020-03-22 20:07:56 · 2778 阅读 · 2 评论 -
KafkaJavaApi操作:练习题(八)
题目在kafka集群中创建18BD-30主题 副本为2个,分区为3个生产者设置:消息确认机制 为all重试次数 为1批量处理消息字节数 为16384设置缓冲区大小 为 33554432设置每条数据生产延迟1ms设置key的序列化为org.apache.kafka.common.serialization.StringSerializer设置value的序列化为org.apache...原创 2020-03-22 20:04:20 · 2750 阅读 · 1 评论 -
KafkaJavaApi操作:练习题(七)
题目在kafka集群中创建18BD-20主题 副本为2个,分区为3个生产者设置:消息确认机制 为all重试次数 为1批量处理消息字节数 为16384设置缓冲区大小 为 33554432设置每条数据生产延迟1ms设置key的序列化为org.apache.kafka.common.serialization.StringSerializer设置value的序列化为org.apache...原创 2020-03-22 19:54:47 · 2774 阅读 · 2 评论 -
KafkaJavaApi操作:练习题(六)
题目:在kafka集群中创建18BD-10主题 副本为2个,分区为3个生产者设置:消息确认机制 为all重试次数 为2批量处理消息字节数 为16384设置缓冲区大小 为 33554432设置每条数据生产延迟1ms设置key的序列化为org.apache.kafka.common.serialization.StringSerializer设置value的序列化为org.apach...原创 2020-03-22 19:49:21 · 2798 阅读 · 2 评论 -
kafka-eagle500异常解决
解决办法1.停止kafkaEagle 进程cd /export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/bin./ke.sh stop2.修改kafkaEagle的启动脚本: bin/ke.sh注释掉下面的几行内容:# rm -rf $KE_HOME/kms/webapps/ke# rm -rf ...原创 2020-03-22 14:19:27 · 3443 阅读 · 4 评论 -
Kafka的监控以及运维与Kafka-eagle的安装
监控以及运维在开发工作中,消费在Kafka集群中消息,数据变化是我们关注的问题,当业务前提不复杂时,我们可以使用Kafka 命令提供带有Zookeeper客户端工具的工具,可以轻松完成我们的工作。随着业务的复杂性,增加Group和 Topic,那么我们使用Kafka提供命令工具,已经感到无能为力,那么Kafka监控系统目前尤为重要,我们需要观察 消费者应用的细节。kafka-eagle概述为...原创 2020-03-22 14:18:21 · 3198 阅读 · 2 评论 -
Kafka消息不丢失制
kafka消息不丢失制生产者生产数据不丢失:生产者数据不丢失过程图:说明:有多少个分区,就启动多少个线程来进行同步数据发送数据方式:可以采用同步或者异步的方式-过程图可以采用同步或者异步的方式同步:发送一批数据给kafka后,等待kafka返回结果1、生产者等待10s,如果broker没有给出ack相应,就认为失败。2、生产者重试3次,如果还没有相应,就报错异步:发送一批...原创 2020-03-22 14:12:07 · 2806 阅读 · 2 评论 -
Kafka:Log存储机制
Log存储机制kafka中log日志目录及组成kafka在我们指定的log.dir目录下,会创建一些文件夹;名字是【主题名字-分区名】所组成的文件夹。 在【主题名字-分区名】的目录下,会有两个文件存在,如下所示:#索引文件00000000000000000000.index#日志内容0000000000000000000.log在目录下的文件,会根据log日志的大小进行切分,....原创 2020-03-22 14:07:09 · 3145 阅读 · 2 评论 -
Kafka:实时计算-实时生产-适时传递-实时存储--实时展现
需求使用StreamAPI获取student这个topic当中的数据,然后将数据全部转为大写,写入到teacher这个topic当中去第一步:创建两个Topicbin/kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --replication-factor 2 --partitions 3 -...原创 2020-03-20 16:36:36 · 3181 阅读 · 1 评论 -
Kafka:Consumer消费数据流程
Consumer消费数据流程流程描述Consumer连接指定的Topic partition所在leader broker,采用pull方式从kafkalogs中获取消息。对于不同的消费模式,会将offset保存在不同的地方官网关于high level API 以及low level API的简介http://kafka.apache.org/0100/documentation...原创 2020-03-20 16:28:39 · 4288 阅读 · 1 评论 -
KafkaJavaApi操作:练习题(五)
题目在kafka集群中创建order主题 副本为2个,分区为3个生产者设置:消息确认机制 为all重试次数 为1批量处理消息字节数 为16384设置缓冲区大小 为 33554432设置每条数据生产延迟1ms设置key的序列化为org.apache.kafka.common.serialization.StringSerializer设置value的序列化为org.apache.k...原创 2020-03-19 21:44:36 · 2769 阅读 · 1 评论 -
KafkaJavaApi操作:练习题(四)
题目在kafka集群中创建title主题 副本为2个,分区为3个生产者设置:消息确认机制 为all重试次数 为2批量处理消息字节数 为16384设置缓冲区大小 为 33554432设置每条数据生产延迟1ms设置key的序列化为org.apache.kafka.common.serialization.StringSerializer设置value的序列化为org.apache.k...原创 2020-03-19 21:42:54 · 2795 阅读 · 2 评论 -
KafkaJavaApi操作:练习题(三)
题目在kafka集群中创建title主题 副本为2个,分区为3个生产者设置:消息确认机制 为all重试次数 为1批量处理消息字节数 为16384设置缓冲区大小 为 33554432设置每条数据生产延迟1ms设置key的序列化为org.apache.kafka.common.serialization.StringSerializer设置value的序列化为org.apache.k...原创 2020-03-19 21:39:53 · 2757 阅读 · 2 评论 -
KafkaJavaApi操作:练习题(二)
题目在kafka集群中创建teacher主题 副本为2个,分区为3个生产者设置:消息确认机制 为all重试次数 为2批量处理消息字节数 为16384设置缓冲区大小 为 33554432设置每条数据生产延迟1ms设置key的序列化为org.apache.kafka.common.serialization.StringSerializer设置value的序列化为org.apache...原创 2020-03-19 21:38:18 · 2832 阅读 · 2 评论 -
KafkaJavaApi操作:练习题(一)
题目在kafka集群中创建student主题 副本为2个,分区为3个生产者设置:设置key的序列化为 org.apache.kafka.common.serialization. StringSerializer设置value的序列化为org.apache.kafka.common.serialization.StringSerializer其他都是默认设置消费者设置:消费者组id...原创 2020-03-19 21:35:42 · 3366 阅读 · 2 评论 -
KakfaJavaApi操作案例:Consumer(二)
Producer代码 //程序的入口 public static void main(String[] args){ //1、配置kafka集群 Properties props = new Properties(); //kafka服务器地址 props.put("bootstrap.servers", "node01...原创 2020-03-19 21:29:06 · 2832 阅读 · 2 评论 -
KafkaJavaApi操作案例:Kafka数据分区(一)
案例一: 当没有指定分区号和key时使用轮训(轮训分区)策略存储数据Producer生产者代码:public class Producer { //程序的入口 public static void main(String[] args){ //1、配置kafka集群 Properties props = new Properties();...原创 2020-03-19 21:16:21 · 3746 阅读 · 2 评论 -
Kafka的JavaAPI操作
kafka的JavaAPI操作Pom.xml创建maven工程并添加以下依赖jar包的坐标到pom.xml:<dependencies><!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --><dependency> <groupId>org...原创 2020-03-19 20:41:51 · 2837 阅读 · 1 评论 -
Kafka集群操作
Kafka集群操作创建topic创建一个名字为test的主题, 有三个分区,有两个副本node01执行以下命令来创建topic:cd /export/servers/kafka_2.11-1.0.0bin/kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --replication-fact...原创 2020-03-17 21:24:05 · 2945 阅读 · 2 评论 -
难道你不会KAFKA集群环境搭建吗?
kafka集群环境搭建Kafka安装包下载:方式一:通过提取码下载Kafka安装包下载_提取码:cmfi方式二:通过扫码进行下载初始化环境准备安装jdk,安装zookeeper并保证zk服务正常启动如何安装Zookeeper,点击此连接进行查看上传解压安装包node01执行以下命令,下载并解压:cd /export/softwarestar –zxvf kafka_2.1...原创 2020-03-17 21:07:53 · 2791 阅读 · 2 评论 -
Kafka史上最详细的介绍!!!!!!!!
消息队列的介绍消息(Message):是指在应用之间传送的数据,消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。–点与点之间,点与多点之间传递的数据,传递的信息。 消息队列(Message Queue):是一种应用间的通信方式,消息发送后可以立即返回,由消息系统来确保信息的可靠专递,消息发布者只管把消息发布到MQ中而不管谁来取,消息使用者只管从MQ中取消息而不管谁发布...原创 2020-03-17 20:52:39 · 4498 阅读 · 2 评论