![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 57
西柚感觉日了狗
这个作者很懒,什么都没留下…
展开
-
kafka报错整理
kafka报错整理基本都是内网报错,这里纯手敲,老爷要是懂了点个赞👍再走呗,砰砰砰分区消费再平衡1.表现:自动提交偏移量消费时,有的成功有的失败。失败时报错:Auto offset commit failed for group XXXXX-test-1: Commit cannot be complete since the group has already rebalanced and assigned the partitions to another member.This means t原创 2022-04-24 10:42:07 · 622 阅读 · 0 评论 -
普通java项目集成kafka
前言现在假设一种需求,我方业务系统要与某服务平台通过kafka交互,异步获取服务,而系统架构可能老旧,不是spring cloud桶,不是spring boot,只是java普通项目或者 java web项目,那么没有boot来干苦力,集成kafka所有需要的功能都需要自己封装...原创 2022-03-02 10:13:26 · 2781 阅读 · 0 评论 -
springboot集成kafka:二、手动装配
前言单位内网spring-kafka依赖只有1.x的,spingboot集成kafka过程中发现配置文件不认一些项,比如spring.kafka.producer.properties和spring.kafka.consumer.properties,配上去也修改不了,日志显示依然维持默认配置,于是决定手动装配各项参数,主要是为了和线上项目的kafka相关配置统一,不管你在生产集群生不生效,反正我配了另外在自己玩的环境上看的spring kafka 2.x就啥都有了,下面的都不用看,直接用上一篇文章用配原创 2022-02-24 18:21:30 · 1886 阅读 · 0 评论 -
springboot集成kafka:一、通过配置文件自动装配
1.引入依赖<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId></dependency>2.application.yml新增spring: application: name: KafkaTest kafka: producer: boot原创 2022-02-24 16:57:23 · 1260 阅读 · 0 评论 -
Spark报错:java.lang.ClassNotFoundException: org.apache.kafka.log4jappender.KafkaLog4jAppender
发生问题的原需求基于华为云spark,yarn流处理任务收集driver和executor日志,输出到kafkaspark-1.5.1kafka-1.1.0前期架构选型1.flume采集到kafka2.利用KafkaLog4jAppender选了第二种,因为1需要先采集到文件在发kafka,考虑会有IO,于是使用log4j原生api直接发送至kafka实现过程在启动脚本–jars中添加kafka-log4j-appender-1.1.0.jar,并在客户端对应位置加入该jarexec /原创 2021-08-12 15:26:54 · 885 阅读 · 0 评论 -
西柚的大数据从踩坑到放弃-kafka:二、Kafka的安装
前提条件kafka依赖于zk,所以需要先行安装部署好zk集群,能够正常运行下载官方下载地址这个可以下载高版本,拿到一个安装包比如 kafka_2.12-2.5.0.tgz,这个2.12是scala版本,2.5.0是kafka的发行版本。kafka的高低版本主要区别:第一,写flink java程序用到的kafka连接包的具体依赖不同,因为我最终是要用flink做流处理所以这块注意一下,暂时只想看kafka的话可以略过这块通用kafka-connector依赖(1.0.0版本以后)<原创 2020-05-18 01:26:30 · 433 阅读 · 0 评论 -
西柚的大数据从踩坑到放弃-kafka:一、Kafka的概念和架构
Kafka本文全部内容为个人理解、做记录用,如果有误请不吝指正一个分布式的,基于pub-sub的消息队列。Kafka是消费者主动拉取消息的。在大数据领域作为消息传递中间件应用广泛,业界如果使用spark计算框架,有9成以上消息队列都是使用kafka。架构Topic:相同类型的消息按照主题来存放,不然那不就乱了么。例如你的购物车数据应该放购物车Topic,单个订单数据应该放在订单TopicPartition:相当于是对Topic里面数据的一个负载均衡Broker:代理,可以简单理解成一个服务原创 2020-05-15 02:00:19 · 374 阅读 · 0 评论