![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
青眼酷白龙
这个作者很懒,什么都没留下…
展开
-
消费kafka数据的时候,如果遇到了脏数据,或者是不符合规则的数据等等这么处理呢?
如对null值的处理,在下游使用sparksql处理时可以优化sql语句。select avg(case when test_id IS Null then “” else test_id end as test_id) from input.对于数组类型的数据,要判断数组长度是否达到要求,是否存在丢失的数据或者无效数据,如果存在则需要通过filter清洗掉。对于规则字段需要在计算之前,先做校验,如正则校验,只有满足规则的在进行后续的计算。对于数据格式不匹配的,要进行格式转换,比如日期类型,要讲毫秒.原创 2020-10-02 11:32:03 · 1273 阅读 · 0 评论 -
kafka事务使用和编程示例
kafka事务使用和编程示例一、概述 Kafka事务特性是指一系列的生产者生产消息和消费者提交偏移量的操作在一个事务中,或者说是一个原子操作,生产消息和提交偏移量同时成功或者失败。注意:kafka事务和DB事务。在理解消息的事务时,一直处于一个错误理解是,把操作db的业务逻辑跟操作消息当成是一个事务,如下所示:void kakfa_in_tranction(){ // 1.kafa的操作:读取消息或生产消息 kafkaOperation(); // 2.db操作 dbO原创 2020-09-08 12:29:40 · 488 阅读 · 1 评论 -
Kafka知识体系以及面试重点详解
原创 2020-08-07 09:18:46 · 90 阅读 · 0 评论 -
kafka面试题 0806
1 Topic中数据如何管理?存储过程Topic:逻辑的划分数据的概念Partition:在物理上以目录的存在分区名称:Topic+分区标号分区角色主副本分区负责对外提供读写从副本分区负责与主副本同步数据AR:All replicas所有副本ISR:in sync replicas可用副本/正在同步的 副本只有ISR的从副本可以参加选举OSR :out sync replicas不可用副本/没有同步的副本根据分区规则写入主副本原创 2020-08-06 16:28:37 · 126 阅读 · 0 评论 -
Kafka一键启动脚本
Kafka一键启动脚本1.vim /etc/profileexport KAFKA_HOME=/export/servers/kafkaexport PATH=$PATH:$KAFKA_HOME/bin2.vim /usr/local/bin/kafkacmd.sh#! /bin/bash# Kafka代理节点地址hosts=(node01 node02 node03)# 打印启动分布式脚本信息mill=`date "+%N"`tdate=`date "+%Y-%m-%d %H:原创 2020-08-05 12:00:06 · 335 阅读 · 0 评论 -
Kafka架构图
原创 2020-08-03 11:50:40 · 137 阅读 · 0 评论 -
kafka使用javaAPI实现消息的发送与接收
kafka使用javaAPI实现消息的发送与接收(入门)1 pom依赖<properties> <scala.version>2.11</scala.version> <slf4j.version>1.7.21</slf4j.version> <kafka.version>2.0.0</kafka.version> <lombok.version>原创 2020-07-12 19:58:52 · 895 阅读 · 0 评论