kafka
C_time
BD
展开
-
SparkStreaming与Kafka010之06 SparkStreaming读取kafka数据再写出到kafka Consumer/ Producer
kafka -> sparkStreaming -> kafkapackage Kafka010import Kafka010.Utils.MyKafkaUtilsimport org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.kafka.clients.producer.{KafkaProd...原创 2019-12-26 19:18:51 · 511 阅读 · 0 评论 -
SparkStreaming与Kafka010之05之04 广播变量的变化重置 与redis监控的结合
1.这个记录的实例就是说,接了上一篇的代码修改,加了广播变量的东西。我在mysql存的某个规则,我启动sparkStreaming程序的时候使用broadcast广播出去,注意这个就仅执行一次的然后吧在redis有这么一个kv作为标志,比如说flag=true,每次sparkStreaming程序程序处理数据用到规则之前,都要先到redis看一下这个标志位变没变。如果有其他程序或者人为修改...原创 2019-12-26 16:09:19 · 420 阅读 · 0 评论 -
SparkStreaming与Kafka010之03 Consumer的offset 从外部存储Redis读取并保存offsets,
1.这个文章记录我从redis管理kafka的Consumer的offsets,是sparkStreaming作为Consumer的版本的话kafka010,sparkStreaming 2.2.0,redis应该2.9.0 pom文件放在最后2.主要的代码就两个一个是Kafka010Demo03,另一个就是RedisUtilsDemo。然后其他就是连接redis读取配置文件的代码了。...原创 2019-12-26 15:22:33 · 552 阅读 · 0 评论 -
Kafka0-10版本之00 Producer生产者的简单使用,往kafka循环打入数据
package Kafka010.Utilsimport java.util.Propertiesimport org.apache.kafka.clients.producer.{KafkaProducer, ProducerConfig, ProducerRecord}/** * Created by Shi shuai RollerQing on 2019/12/24 20:1...原创 2019-12-26 14:51:17 · 371 阅读 · 0 评论 -
SparkStreaming与Kafka010之05之02 Consumer的offset 自定义设置offset
package Kafka010import Kafka010.Utils.MyKafkaUtilsimport org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.kafka.common.TopicPartitionimport org.apache.spark.SparkConfimport org....原创 2019-12-24 21:04:19 · 284 阅读 · 0 评论 -
SparkStreaming与Kafka010之05之01 Consumer
package Kafka010import Kafka010.Utils.MyKafkaUtilsimport org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.InputDStreamim...原创 2019-12-24 20:17:05 · 388 阅读 · 0 评论 -
kafka修改topic副本数
本文完全转载自如下https://www.cnblogs.com/hongfeng2019/p/11210229.htmlkafka修改topic副本数工作案例:大数据开发用系统脚本自动在kafka建topic,检查后才发现副本数只有1个,存在数据丢失的风险。需要立刻把副本数改为3个。开始干活,首先想到的是下面的命令:${BIN_PATH}/kafka-topics.sh --zoo...原创 2019-11-21 10:47:58 · 2586 阅读 · 0 评论 -
kafka根据key或value分区时的策略
kafka根据key或value分区时的策略String.hashCode()会返回负值原创 2019-11-13 20:16:54 · 3214 阅读 · 0 评论 -
Kafka集群扩展以及重新分布分区
转载自过往记忆(https://www.iteblog.com/)本文链接: 【Kafka集群扩展以及重新分布分区】(https://www.iteblog.com/archives/1611.html)我们往已经部署好的Kafka集群里面添加机器是最正常不过的需求,而且添加起来非常地方便,我们需要做的事是从已经部署好的Kafka节点中复制相应的配置文件,然后把里面的broker id修改成全...原创 2019-11-13 19:26:23 · 297 阅读 · 0 评论 -
kafka无法关闭的解决方法
kafka提供了关闭脚本,但是我运行的时候报错:关闭失败修改kafka-server-stop.sh将#PIDS=$(ps ax | grep -i 'kafka\.Kafka' | grep java | grep -v grep | awk '{print $1}')改为PIDS=$(ps ax | grep -i 'Kafka' | grep java | grep -v ...原创 2019-11-12 11:53:10 · 2258 阅读 · 0 评论