Kafka
Java_supermanNO1
这个作者很懒,什么都没留下…
展开
-
阿里大牛的Kafka动态配置了解下?
本文已收录GitHub,更有互联网大厂面试真题,面试攻略,高效学习资料等什么是动态Broker参数配置?在开始分享之前,我们先来复习一下设置 Kafka 参数,特别是 Broker 端参数的方法。在 Kafka 安装目录的 config 路径下,有个 server.properties 文件。通常情况下,我们会指定这个文件的路径来启动 Broker。如果要设置 Broker 端的任何参数,我们必须在这个文件中显式地增加一行对应的配置,之后启动 Broker 进程,令参数生效。我们常见的做法是,一..原创 2020-07-06 20:34:00 · 525 阅读 · 0 评论 -
详解Kafka设计架构核心——Kafka副本机制详解
本文已收录GitHub,更有互联网大厂面试真题,面试攻略,高效学习资料等所谓的副本机制(Replication),也可以称之为备份机制,通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制有什么好处呢?1. 提供数据冗余。即使系统部分组件失效,系统依然能够继续运转,因而增加了整体可用性以及数据持久性。2. 提供高伸缩性。支持横向扩展,能够通过增加机器的方式来提升读性能,进而提高读操作吞吐量。3. 改善数据局部性。允许将数据放入与用户地理位置相近的地方,从而降低系统延时。这些优.原创 2020-07-01 21:11:28 · 368 阅读 · 0 评论 -
阿里面试官:RocketMQ与Kafka中如何实现事务?
本文已收录GitHub,更有互联网大厂面试真题,面试攻略,高效学习资料等RocketMQ的事务是如何实现的?首先我们来看 RocketMQ 的事务。我在之前的课程中,已经给大家讲解过 RocketMQ 事务的大致流程,这里我们再一起通过代码,重温一下这个流程。public class CreateOrderService { @Inject private OrderDao orderDao; //注入订单表的DAO @Inject private ExecutorService exe.原创 2020-06-30 21:30:57 · 607 阅读 · 0 评论 -
Kafka 的这些原理你知道吗
本文转载自:Kafka 的这些原理你知道吗如果只是为了开发 Kafka 应用程序,或者只是在生产环境使用 Kafka,那么了解 Kafka 的内部工作原理不是必须的。不过,了解 Kafka 的内部工作原理有助于理解 Kafka 的行为,也利用快速诊断问题。下面我们来探讨一下这三个问题Kafka 是如何进行复制的Kafka 是如何处理来自生产者和消费者的请求的Kafka 的存储细节是怎...原创 2019-12-23 16:50:39 · 334 阅读 · 0 评论 -
同事三面阿里,竟挂在了Kafka;哭诉让我帮他找份Kafka面试题
本文转载自:同事三面阿里,竟挂在了Kafka;哭诉让我帮他找份Kafka面试题1. 什么是kafkaKafka是分布式发布-订阅消息系统,它最初是由LinkedIn公司开发的,之后成为Apache项目的一部分,Kafka是一个分布式,可划分的,冗余备份的持久性的日志服务,它主要用于处理流式数据。2. 为什么要使用 kafka,为什么要使用消息队列缓冲和削峰:上游数据时有突发流量,下游...原创 2019-10-30 16:15:06 · 751 阅读 · 0 评论 -
面试不落泪!精选一线大厂50道Kafka常见面试题『答案详解』
本文转载自:面试不落泪!精选一线大厂50道Kafka常见面试题『答案详解』前言众所周知,kafka的受欢迎程度在编程界也是数一数二的,并且Kafka也拥有强劲的就业机会和职业前景。此外,在互联网时代能够拥有Kafka知识对自己也是一条快速增长的道路。故,本文收集了一些一线互联网大厂常见的Kafka面试题,并提供了详细答案,希望能帮助到大家!Kafka常见面试题大全含答案问题1:什么是A...原创 2019-10-30 15:15:53 · 273 阅读 · 0 评论 -
Kafka——位移主题
ZooKeeper老版本Consumer的位移管理依托于Apache ZooKeeper,自动或手动地将位移数据提交到ZK中保存当Consumer重启后,能自动从ZK中读取位移数据,从而在上次消费截止的地方继续消费这种设计使得Kafka Broker不需要保存位移数据,减少了Broker端需要持有的状态空间,有利于实现高伸缩性但ZK并不适用于高频的写操作位移主题将Consumer...原创 2019-09-25 15:25:25 · 301 阅读 · 0 评论 -
十年技术总监分享:Kafka Spring Boot的教程
摘要在这篇文章中,我们已经看到了Kafka系统中使用的基本术语。我们还看到使用Spring Boot配置Kafka是多么容易。大多数工作都是由Spring Boot在幕后完成的。一种简单快捷的方法是在application.yml文件中配置与Kafka相关的详细信息,如果我们更改Kafka集群并且必须将服务器指向新的Kafka集群地址,这非常的便捷!Apache Kafka是一个分布式数据...原创 2019-09-23 16:16:19 · 190 阅读 · 0 评论 -
Kafka概述与下一代消息队列
常用的消息中间件消息中间件是当前处理大数据的一个非常重要的组件,用来解决应用解耦、异步通信、流量控制等问题,从而构建一个高效、灵活、消息同步和异步传输处理、存储转发、可伸缩和最终一致性的稳定系统。目前业界应用比较多的分布式消息中间件主要包括:ActiveMQ、RabbitMQ、Kafka、RocketMQ,虽然都是分布式消息中间件,但是每种消息中间件使用方式区别还是很大的。ActiveMQ...原创 2019-09-22 21:34:58 · 117 阅读 · 0 评论 -
从这个角度,我终于理解为什么需要Kafka这样的东西了!
先从数据库说起。我们都知道,数据库中的数据,只要应用程序员不主动删除,就可以任意次读写,多少次都行。数据库还对外提供了很漂亮的接口——SQL ——让程序员操作数据。但是数据库不擅长做“通知”(人家也不是干这种事的):例如,程序A向数据库插入了一条数据, 然后程序B想知道这次数据更新,然后做点事情。这种"通知"的事情,一种办法是用轮询实现, 程序B不断地查数据库,看看有没有新数据的到来, 但是...转载 2019-09-20 14:48:47 · 643 阅读 · 0 评论 -
Java程序员面试必备——kafka的专业术语
主题 + 客户端发布订阅的对象是主题(Topic)向主题发布消息的客户端应用程序称为生产者(Producer),生产者可以持续不断地向多个主题发送消息订阅这些主题消息的客户端应用程序称为消费者(Consumer),消费者能够同时订阅多个主题的消息生产者和消费者统称为客户端服务端Kafka的服务端由被称为Broker的服务进程构成,一个Kafka集群由多个Brok...原创 2019-09-19 14:41:29 · 137 阅读 · 0 评论