kafka
文章平均质量分 72
但行益事莫问前程
大数据研发, 开发flink实时流
展开
-
kafka 自定义Interceptor(通过拦截器对消息进行定制化处理)
第一个interceptor会在消息发送前将时间戳信息加到消息value的最前部;第二个interceptor会在消息发送后更新成功发送消息数或失败发送消息数到控制台。参数指定多个interceptor按序作用于同一条消息从而形成一个。producer生成消息时,interceptor使得用户在。对消息做定制化处理。注producer将按照指定顺序调用拦截器,并。,确保在消息被序列化以及计算分区前调用。方法会运行在用户主线程中,封装进。可获取配置信息,初始化调用一次。关闭拦截器,执行资源清理工作。...原创 2022-07-21 08:09:39 · 43588 阅读 · 0 评论 -
kafka 基础概念、命令行操作(查看所有topic、创建topic、删除topic、查看某个Topic的详情、修改分区数、发送消息、消费消息、 查看消费者组 、更新消费者的偏移位置)
kafka官网。原创 2022-07-20 17:20:40 · 49649 阅读 · 0 评论 -
flink 从kafka读取数据写入mysql数据库
搭建flink,版本flink-1.9.2搭建kafka,版本kafka_2.11-2.0.0pom文件根据自己的版本自定义pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www...原创 2020-04-24 17:52:29 · 46543 阅读 · 2 评论 -
flink StreamingFileSink 读取kafka中的数据,流式地写入本地文件系统
1. StreamingFileSink Flink 存在一些简单粗暴的输出到文件的预实现方法:如 writeAsText()、writeAsCsv() 直接将输出结果保存到文本文件或 Csv 文件。但这种方式是不支持同时写入一份文件,Sink 操作并行度只能为 1,拖慢系统效率且无法保证故障恢复后的状态一致性 对此,Flink 专门提供了一个流式文件系统的连接器:StreamingFileSink,它继承自抽象类RichSinkFunction,而且集成了 Flink 的检查点(checkpoi原创 2022-05-20 09:23:11 · 44916 阅读 · 0 评论 -
Kafka删除topic
彻底删除Kafka中的topic1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录2、Kafka 删除topic的命令是: ./bin/kafka-topics --delete --zookeeper 【zookeeper server】 --topic 【topic name】 如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enabl原创 2021-03-07 13:57:02 · 64432 阅读 · 0 评论