kafka
文章平均质量分 89
javastart
专注于大数据 AI
展开
-
“Kafka”面试题 (建议收藏)
消费者组是Kafka独有的概念,即消费者组是Kafka提供的可扩展且具有容错性的消费者机制。但实际上,消费者组(Consumer Group)其实包含两个概念,作为队列,消费者组允许你分割数据处理到一组进程集合上(即一个消费者组中可以包含多个消费者进程,他们共同消费该topic的数据),这有助于你的消费能力的动态调整;作为发布-订阅模型(publish-subscribe),Kafka允许你将同一份消息广播到多个消费者组里,以此来丰富多种数据使用场景。转载 2023-06-15 09:32:57 · 413 阅读 · 2 评论 -
Kafka 0.10.0 SASL/PLAIN身份认证及权限实现
Kafka 0.10.0 SASL/PLAIN身份认证及权限实现Jul 29, 2016 | 技术 | 2,082 字 | 1588 Times文章目录1. Kafka 安全机制2. Kafka身份认证2.1. SASL/PLAIN 认证2.1.1. Kafka Server 端配置2.1.2. KafkaClient 配置3转载 2017-11-10 13:35:48 · 4825 阅读 · 1 评论 -
Kafka Security Mechanism (SASL/PLAIN)
Bharat ViswanadhamPublished on April 10, 2017 / Updated on June 7, 20171Starting from Kafka 0.10.x Kafka Broker supports username/password authentication. This转载 2017-11-10 10:35:34 · 2363 阅读 · 0 评论 -
如何确定Kafka的分区数、key和consumer线程数
如何确定Kafka的分区数、key和consumer线程数时间 2015-08-25 12:28:00 博客园-原创精华区原文 http://www.cnblogs.com/huxi2b/p/4757098.html主题 Apache Kafka在Kafak中国社区的qq群中,这个问题被提及的比例是相当高的,这也是Kafka用户最常碰到的问题之一。本文结合K转载 2017-06-02 20:50:17 · 553 阅读 · 0 评论 -
Kafka Eagle这款监控工具
问题导读:1.Kafka Eagle实现kafka消息监控的代码细节是什么?2.Kafka owner的组成规则是什么?3.怎样使用SQL进行kafka数据预览?4.Kafka Eagle是否支持多集群监控?1.概述在《Kafka 消息监控 - Kafka Eagle》一文中,简单的介绍了 Kafka Eagle这款监控工具的作用,截图预览,转载 2017-03-29 08:59:10 · 8982 阅读 · 0 评论 -
Kafka - SQL 引擎分享
问题导读:1.在Kafka中使用SQL的流程是什么?2.怎样配置Kafka,使得在Kafka中使用SQL?3.在Kafka中使用SQL有哪些注意事项?1.概述 大多数情况下,我们使用 Kafka 只是作为消息处理。在有些情况下,我们需要多次读取 Kafka 集群中的数据。当然,我们可以通过调用 Kafka 的 API 来完成,但是针对不同的业务需求转载 2016-06-12 19:01:00 · 1711 阅读 · 0 评论 -
用Spark往Kafka里面写对象设计与实现
Spark和Kafka都是比较常用的两个大数据框架,Spark里面提供了对Kafka读写的支持。默认情况下我们Kafka只能写Byte数组到Topic里面,如果我们想往Topic里面读写String类型的消息,可以分别使用Kafka里面内置的StringEncoder编码类和StringDecoder解码类。那如果我们想往Kafka里面写对象怎么办? 别担心,Kafka中的kafka.ser转载 2016-03-21 09:06:42 · 1861 阅读 · 0 评论 -
kafka监控
kafka监控kafka-web-consolehttps://github.com/claudemamo/kafka-web-console部署sbt:http://www.scala-sbt.org/0.13/tutorial/Manual-Installation.htmlhttp://www.scala-sbt.org/release/t转载 2016-02-22 13:50:24 · 2074 阅读 · 0 评论 -
Kafka 安装和测试
1. 简介 kafka (官网地址:http://kafka.apache.org)是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率。i. 消息的发布(publish)称作producer,消息的订阅(subscribe)称作consumer,中间的存储阵列称作broker。 ii. 多个broker协同合作,producer、consumer和bro转载 2016-02-22 11:01:44 · 1212 阅读 · 0 评论 -
apache kafka监控系列-KafkaOffsetMonitor
apache kafka中国社区QQ群:162272557概览最近kafka server消息服务上线了,基于jmx指标参数也写到zabbix中了,但总觉得缺少点什么东西,可视化可操作的界面。zabbix中数据比较分散,不能集中看整个集群情况。或者一个cluster中broker列表,自己写web-console比较耗时耗力,用原型工具画了一些管理界面东西,关键自己也不前端方面技术,这方面转载 2016-03-17 13:17:11 · 4967 阅读 · 0 评论 -
发布&订阅的消息系统 Kafka的深度解析
发布&订阅的消息系统 Kafka的深度解析2015-01-27 10:25 Jason Guo Jason Guo的博客 字号:T | T一个典型的kafka集群中包含若干producer(可以是web前端产生的page view,或者是服务器日志,系统CPU、memory等),若干broker(Kafka支持水平扩展,一般broker数量越多,集群吞吐率越高)转载 2016-02-05 15:41:21 · 9019 阅读 · 0 评论 -
kafka2.9.2的分布式集群安装和demo(java api)测试
问题导读1、什么是kafka?2、kafka的官方网站在哪里?3、在哪里下载?需要哪些组件的支持?4、如何安装? 一、什么是kafka? kafka是LinkedIn开发并开源的一个分布式MQ系统,现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式(能将消息分散到不同的节点上)MQ。Kafka仅仅由7000行Scal转载 2016-02-05 15:24:22 · 4134 阅读 · 1 评论