大数据——分布式缓存队列Kafka
文章平均质量分 79
Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。
友培
感觉数据+AI之美
展开
-
Failed to update metadata after 60000ms
记录Canal连接Kafka的一个大坑 1、这个应该是canal连接mysql报的超时,不过不影响正确的结果,有知道的大佬希望给予解答 2、重点是这个,巨坑,出现这个问题是因为虽然配置了canal的instance.properties中的dynamicTopic,但是canal.mg.topic没有指定,这会导致什么结果呢?会导致你配置dynaTopic的库虽然可以被kafka监听实时拉取到日志,但是导致mysql下的其他库的文件改动日志没有指向地,就会出现上图的第二个错误,一直报错,解决方法就是原创 2021-03-26 12:30:26 · 2656 阅读 · 0 评论 -
Kafka学习视频心得(三)自定义offset、kafka拦截器、监控、面试题
文章目录1、自定义保存offsetConsumerManual.java2、自定义Interceptor1)、原理2)、实操TimeInterceptor.javaCountInterceptor.javaProducer.javaConsumer.java3、flume对接Kafka1)、配置flume(flume-kafka.conf)(flume1.9.0)2) 启动kafkaIDEA消费者3) 进入flume根目录下,启动flume4) 向 /opt/module/datas/flume.log里追原创 2021-02-04 20:20:54 · 197 阅读 · 0 评论 -
Kafka学习视频心得(二)kafka架构深入、API
文章目录1、Exactly Once1)、引入幂等性2)、如何启用?3)、缺点2、消费方式1)、为什么不用push方式?2)、pull方式的不足之处以及解决方法3、kafka消费者分区分配策略1)、当consumer的数量比partition的数量小的时候怎么分配?2)、roundrobin策略3)、range策略4、offset的维护1)、引入2)、解决5、Kafka高效读写数据1)、顺序写磁盘2)、页面缓存(Pagecache)①、定义②、pagecache具体操作③、联系kafka④、好处3)、零复制原创 2021-02-03 21:32:12 · 183 阅读 · 1 评论 -
Kafka学习视频心得(一)安装、存储原理、分区、消息安全
文章目录1、消息队列的两种模式1)、点对点模式2)、发布/订阅模式(kafka)2、kafka定义3、kafka基础架构4、kafka安装5、kafka的存储原理1)、文件存储机制2)、index和log文件解释3)、timeindex补充:6、kafka生产者分区策略1)、分区的原因2)、分区的原则7、kafka消息的安全性1)、副本数据同步策略2)、ISR3)、ack应答机制4)、故障处理细节①、follower故障②、leader故障 1、消息队列的两种模式 1)、点对点模式 一对一,消费者主动拉取原创 2021-02-01 16:06:38 · 163 阅读 · 0 评论