GYT0313

1. 下载地址http://www.kafka-eagle.org/当前版本：v1.4.22. 安装安装教程官网很详细，这里记录一下博主遇到的一些小问题：博主使用的是MySQL-8.0.18，当前版本v1.4.2下需要操作两个步骤：mysql-jdbc 驱动复制将驱动复制到下面的目录mysql8.0.18需要修改jdbc.drive驱动# 原格式kafka.ea...

前言首先会使用Java开发一个日志产生器，使用Flume收集此信息到Kafka，然后Spark Streaming 从Kafka读取消息。完整项目代码：https://github.com/GYT0313/Spark-Learning/tree/master/sparkstream1. 日志产生器首先你应该创建一个Maven 项目，参考：https://blog.csdn.net/qq_...

前言继上篇《 04-Kafka生成者 – 使用Avro 序列化值写入消息（使用Confluent 注册表）》使用Avro序列化生产消息，该篇博客使用Avro 反序列化读取消息。Kafka-2.1.1 + Kafka 集群 + Eclipse1. 注册表上篇博客能够成功写入消息，但在写入消息时2. 代码ReadMessageAvroDeserializer.javapackage co...

前言继《 03-Kafka生产者–向Kafka写入数据（Java）》，该篇博客从写入的主题中读取消息。环境：Kafka-2.1.1 + Kafka 集群 + Eclipse1. 读取消息注意：Java 工程中需要导入依赖，如果不会或没有JAR 包可以参考： 链接。ReadMessageSimple.javapackage consumer_read;import java...

前言本节介绍如何使用Kafka的脚本进行Kafka的相应操作。环境：Kafka-2.1.1 + Kafka集群参考书籍为kafka-0.10.0，可能有很多的新特性并没有展示出。1. 主题操作创建主题：复制系数-3，分区数-3kafka-topics.sh --zookeeper master:2181 --create --topic my-topic --replication-...

前言该章节将介绍如何构建数据管道。环境：Kafka-2.1.1 + Kafka集群1. 运行Connect可以运行worker集群，由于节点数量有限，这里使用一个worker。修改config/connect-distributed.properties （写上运行kafka的主机）运行注：所有节点开启zookeeper，slave1，slave2，slave3开启kafka服...

前言今天开始学习Kafka，专栏记录了博主的学习过程，以及遇到的问题和解决方案。希望能够帮助到你。参考书籍：《Kfka权威指南》1. Kafka充当了什么角色认为Kafka 是一个流平台：在这个平台上可以发布和订阅数据流，并把它们保存其起来、进行处理。Kafka 与现有的技术作比较（简述）：Kafka 有点像消息系统，允许发布和订阅消息流。可以看成实时版的HadoopKafka...

前言本节将介绍一些关于Kafka相关指标，包括主题、分区、生产者、消费者等。环境：Kafka-2.1.1 + Kafka 集群1. 使用JMX 监控集群JMX的全称为Java Management Extensions。可以管理、监控正在运行中的Java程序。常用于管理线程，内存，日志Level，服务重启，系统环境等。开启JMX 端口开启端口有如下两种方式：在执行启动Kafk...

前言继上篇博客使用最简单的字符串序列发送消息时完全不能满足消息的类型的。所以，这里使用Apache Avro序列化消息的键和值。如此一来，值的类型不只是字符串了，可以是一个实例化的对象。环境：Kafka-2.1.1 + Kafka 集群 + Eclipse1. 配置Confluent因为，Avro通过schema 来定义。schema通过JSON来描述。所以我们需要配置schema。...

前言该篇博客将简述Kafka的一些深入知识，写出博主的总结和配图。环境：Kafka-2.1.1 + Kafka 集群参考：《Kafka权威指南》注：以下所有内容皆是Kafka-0.9 或0.10 版本特性。或许新版本（如2.1.1）在某些部分会有改动，这里仅供参考。1. 集群成员关系Kafka使用Zookeeper来维护集群成员的信息。每个broker都有一个唯一标识符，这个标识符...

前言上一篇博客介绍了如何安装Kafka，该篇将介绍如何在Java中创建生产者，并向Kafka写入数据。环境：Kafka 集群 + Eclipse + Kafka-2.1.11. 创建项目并配置依赖注：博主目前还不会Maven 配置，因此所有依赖都是导入的JAR、ZIP包。包下载：链接：https://pan.baidu.com/s/12Ykei4-KmJ-eRTchI-7Z_g提取...

前言安装环境：LinuxScala-2.12.8Zookeeper-3.4.12Kafka-2.1.1--------官网：http://kafka.apache.org/downloads假如你已经安装好了Linux、Scala、Zookeeper（集群，博主为1个主节点，3个从节点）。未安装可参考：Scala：https://blog.csdn.net/qq_38038143/...