Kafka
文章平均质量分 69
入门
独孤雨鸿
这个作者很懒,什么都没留下…
展开
-
kafka集成spark
新建SparkKafkaProducer (注意选择的是object而不是class)控制台可以消费到数据,可见spark作为消费者集成Kafka成功。能接收到信息,可见spark作为生产者集成Kafka成功。运行,开启Kafka 消费者消费数据。开启Kafka 生产者生产数据。原创 2024-06-10 17:38:59 · 704 阅读 · 0 评论 -
Kafka集成flume
kafka作为flume的source,扮演生产者角色。kafka作为flume的sink,扮演消费者角色。可见Kafka集成flume生产者成功。可见Kafka集成flume消费者成功。往被监控文件输入数据。查看Kafka消费者。查看flume监控台。原创 2024-06-10 12:59:56 · 715 阅读 · 1 评论 -
kafka集成SpringBoot api编写教程
用的idea是20222.1.3版本,没有Spring Initializr 插件,不能直接创建springboot项目。SpringBootKafkaApplication这个程序在创建项目时自动生成。可以在以下网址创建项目,下载后解压,然后用idea打开项目即可。控制台有输出,spring boot消费者集成Kafka成功。(也可以选择修改对应的jdk版本,创建项目时勾选的是22)新建controller包。可见spring boot生成者集成Kafka成功。输入后网页返回发送成功。原创 2024-06-10 00:15:48 · 1243 阅读 · 1 评论 -
kafka集成flink api编写教程
把$FLINK_HOME/conf/log4j.properties 内容复制粘贴过来。运行,用3中的生产者生产数据,消费结果。kafka消费者消费结果。原创 2024-06-09 17:01:31 · 509 阅读 · 0 评论 -
Kafka监控系统efak的安装
下载地址连接不稳定,可以多次尝试直到成功连接下载。4.mysql中创建kafkaEagle库。# 配置KAFKA_EAGLE环境变量。查看到解压后包含一个安装包,再解压。关闭Kafka集群后重新启动。1.解压安装包并重命名。密码123456 登录。移至上级目录并重命名。5. 开启JMX监控。原创 2024-06-08 18:36:56 · 571 阅读 · 0 评论 -
Kafka消费者api编写教程
输入new KafkaConsumer(properties).var 回车选择消费者名称。输入new ArrayList().var 回车修改变量名为topics。>().var 回车选择变量名为topicsPartitions。输入new Properties().var 回车。输出台上可以看到输出的都是订阅的主题/分区的信息。输入new ArrayList原创 2024-06-04 19:57:29 · 631 阅读 · 0 评论 -
关于无法通过脚本启动Kafka集群的解决办法
启动Kafka集群时,需要在每台个节点上启动启动服务,比较麻烦,通过写了以下脚本来进行启停;发现能正常使用停止功能,不能正常启动Kafka;#先在~/.bashrc文下配置JAVA_HOME,已经安装jdk的,通过which Java 命令可以查看jdk的安装位置。再次尝试通过脚本启动。原创 2024-06-04 18:00:16 · 276 阅读 · 1 评论 -
Kafka broker的新增和剔除(服役与退役)
说明:集群现有broker:node1,node2,node3三个,broker.id分别为0,1,2已有两个topic:products、cities。原创 2024-06-01 02:24:11 · 839 阅读 · 0 评论 -
Kafka自定义分区器编写教程
在自定义生产者消息发送时,属性配置上加入自定义分区器。原创 2024-05-30 01:49:43 · 677 阅读 · 0 评论 -
Kafka生产者消息异步发送并返回发送信息api编写教程
键入topic名(order)和要发送的信息(“0000”+i),new Callback()回车会弹出需要重写的抽象类,补全返回条件、需要返回的信息即可实现抽象类;键入new Properties().var 回车,键入new KafkaProducer(properties).var 回车,选择变量名。键入new KafkaProducer(),光标置于括号内CTRL+P可以显示需要对象为properties;//指定对应的key和value的序列化类型。//关联自定义分区器。原创 2024-05-30 01:45:03 · 1208 阅读 · 0 评论 -
Kafka入门
如果要降低潜在的延迟,就可以把参数值设置的小一些。跟其他与字节相关的配置参数一样,该参数指的是压缩后的消息大小,也就是说,只要压缩后的消息小于 mesage.max.bytes,那么消息的实际大小可以大于这个值。,比如我们经常回去淘宝购物,你打开淘宝的那一刻,你的登陆信息,登陆次数都会作为消息传输到 Kafka 后台,当你浏览购物的时候,你的浏览信息,你的搜索指数,你的购物爱好都会作为一个个消息传递给 Kafka 后台,然后淘宝会根据你的爱好做智能推荐,致使你的钱包从来都禁不住诱惑,那么这些生产者产生的。转载 2024-05-29 18:59:06 · 23 阅读 · 0 评论 -
kafka的安装与简单使用
auto.create.topics.enable=false #自动创建topic参数,建议此值设置为false,严格控制topic管理,防止生产者错写topic。num.partitions=5 # 默认partition数量为1,如果topic在创建时没有指定partition数量,默认使用此值,建议改为5。log.dirs=/export/server/kafka_2.13-3.2.0/logs #需要自己创建logs目录。可,本人依次递增1,2,3。#配置kafka环境变量。原创 2024-05-29 18:39:24 · 831 阅读 · 0 评论