kafka
文章平均质量分 53
AuroraPetard
这个作者很懒,什么都没留下…
展开
-
sparkStreaming常见问题
spark kafka原创 2022-06-13 22:33:24 · 615 阅读 · 0 评论 -
sparkStreaming 消费下沉 kafka 以及调优
sparkStreaming 消费下沉 kafka 以及调优1 sparkStreaming 消费kafka主要方式有两种:receiver方式、Direct方式Receiver方式利用kafka高阶的api,将数据存储到exectors,这种方法会丢失数据,要确保零丢失需要开启WAL (write ahead log)即将数据存到 hdfs上面一份 需要设置 KafkaUtils.createStream(..., StorageLevel.MEMORY_AND_DISK_SER)),即使数据会丢失原创 2020-05-27 23:06:32 · 259 阅读 · 0 评论 -
kafka配置
config/server.propertiesbroker.id=0listeners=PLAINTEXT://:9092log.dirs=/root/kafka-logszookeeper.connect=mini01:2181,mini02:2181,mini03:2181通过ZK去获取kafka的地址, 但是zk中保存的kafka是以域名的方式保存的, 而新集...原创 2018-06-02 20:32:36 · 283 阅读 · 0 评论 -
kafka sparkStreaming hbase mysql 整合案例
通过flume向kafka的topic发送数据,sparkstreaming去消费topic中的数据清洗处理,最后存储到hbase中flume sink.conf待续通过命令行提前创建一个topicbin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --parti...原创 2019-05-26 23:19:22 · 838 阅读 · 1 评论 -
kafka删除topic的数据
1如果要删除的topic正在被producer和consumer,则停止掉。因为如果有producer或者consumer,则topic的offest信息会在broker上更新,导致kafkadelete命令无法删除,同时需要设置auto.create.topics.enable=false,默认为true,如果设置为true,则producer或者fetch不存在的topic也会自动创建这个to...原创 2019-08-12 22:16:56 · 381 阅读 · 0 评论