kafka
文章平均质量分 74
威尼斯的星期天
Console.log('♚')
展开
-
Kafka加密采集监控解决方案
kafka一般加密采集原创 2022-01-18 17:45:29 · 3957 阅读 · 0 评论 -
kafka2.4.0(0.10.0 以上)配置多ip监听
前言与第三方数据同步,约定使用kafka作为接收数据的中间件,但是之前配置有问题,所以导致外网无法向我们集群生产数据(我们的集群有公网网卡,对外暴露了指定的端口),后来查了很多资料才知道,需要做一些配置,下面我将配置要点贴下面。配置方法找到kafka的server.properties进行修改红色部分绑定该节点的内网ip加端口号listeners=PLAINTEXT://hostname:port绿色部分绑定该节点的外网ip加端口号advertised.listeners=PLAINT原创 2021-01-15 16:13:35 · 3680 阅读 · 4 评论 -
hadoop3.2.0,kafka_2.12-2.4.0 flume采集方案demo
效果根据消息中的事件时间来分目录,按照年月日分!前言公司有个数据采集需求,因为历史原因,我们公司使用的hadoop和kafka版本比较高,所以我采用了1.9.0的flume进行开发,flume内存调优这里就不讲了,有兴趣的自己去搜下。第一次使用肯定需要调优。环境准备java 1.8 flume 1.9.0 kafka_2.12-2.4.0 hadoop3.2.0flume的lib中需要将hadoop的一些依赖放进去,在hadoop3.2.0中慢慢去找hadoop-3.2.0/share/ha原创 2020-10-27 20:10:32 · 494 阅读 · 0 评论 -
kafka独立消费者与非独立消费者区别
独立消费者在启动消费者时,如果明确指定了要消费的主题、分区,以及消费的位置!此时启动的消费者,称为独立消费者!非独立消费者 在启动消费者时,只指定了消费的主题,没有指定要消费哪个分区!此时这个消费者称为非独立消费者!区别独立消费者在消费数据时,kafka集群不会帮消费者维护消费的Offset!...原创 2020-09-09 14:48:06 · 582 阅读 · 0 评论 -
alibaba-canal数据对象格式简介
阿里github示例Entry Header logfileName [binlog文件名] logfileOffset [binlog position] executeTime [binlog里记录变更发生的时间戳,精确到秒] schemaName tableName eventType [insert/update/delete类型] entryType转载 2020-06-01 00:49:44 · 1863 阅读 · 0 评论 -
Sparkstreaming连接Kafka,利用CKP来保证输出数据不丢失
package com.zhengkw.stu.day01.kafkademoimport kafka.serializer.StringDecoderimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.ReceiverInputDStreamimport org.apache.spark.streaming.kafka.KafkaUtilsimport org.apache.spark.strea原创 2020-05-17 22:56:21 · 246 阅读 · 0 评论