qq_16220645的博客

一、相关主要组件说明1、spark 版本2.4.32、kafka 版本0.103、scala 版本2.114、通过redis手动维护kafka的offset二、出现的异常如下org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {logs.topic.records-50=3709}

一、相关主要组件说明1、spark 版本2.4.32、kafka 版本0.103、scala 版本2.114、通过redis手动维护kafka的offset5、spark streaming结合kafka选用的消费者策略为Subscribe ConsumerStrategy<String, String> subscribe = ConsumerStrategies.Subscribe(topicList, kafkaParams, topicPartitionMap);<

./bin/spark-submit \ --class com.test.examples.SparkStreaming \ --master yarn \ --deploy-mode client \ --driver-memory 4g \ --executor-memory 4g \ --executor-cores 3 \ --queue q2 \ /pa...

需求分析说明根据业务场景需要实时处理日志进行实时图表展示(Highchart等)，如果进行对数据库频繁抽取会对数据库服务器造成较大的压力，相应的web服务也会受到很大的影响；因此，抽取数据库的日志既能够很大的减轻数据库服务的压力，又能够解决实时处理实时展示图表的需求。本博客MySQL Binlog日志采集为例提供解决方案一、部署安装maxwell采集器 1) 首先查看mysql是否...