kafka
GE12
这个作者很懒,什么都没留下…
展开
-
Kafka Client配置JAAS的几种方式
第一种Properties props = new Properties();props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, “ubuntu:9092”);props.put(“acks”, “all”);props.put(“retries”, 0);props.put(“batch.size”, 16384);props.p...原创 2019-12-30 10:15:36 · 2699 阅读 · 0 评论 -
二.kafka leader 负载均衡
每当代理停止或崩溃领导,该代理的分区传输到其他副本。这意味着默认情况下,当代理重新启动时,它将只是所有其分区的跟随者,这意味着它不会用于客户端读取和写入。为了避免这种不平衡,Kafka有一个优选副本的概念。如果分区的副本的列表为1,5,9,则节点1优选为节点5或9的引导者,因为它在副本列表中较早。您可以通过运行以下命令让Kafka集群尝试恢复恢复的副本的领导: > bin / kafka原创 2017-02-24 16:06:17 · 2824 阅读 · 0 评论 -
三.kafka 备份机制
备份机制是Kafka0.8版本的新特性,备份机制的出现大大提高了Kafka集群的可靠性、稳定性。有了备份机制后,Kafka允许集群中的节点挂掉后而不影响整个集群工作。一个备份数量为n的集群允许n-1个节点失败。在所有备份节点中,有一个节点作为lead节点,这个节点保存了其它备份节点列表,并维持各个备份间的状体同步。下面这幅图解释了Kafka的备份机制:原创 2016-11-10 13:56:03 · 5060 阅读 · 0 评论 -
一.kafka集群环境搭建
1、下载地址http://kafka.apache.org/downloads.html 2、进入每个Kafka的根目录,分别对其config/server.properties文件进行配置:Java代码 ----config/server.properties broker.id=1 listeners=PLAINT原创 2016-11-09 15:25:40 · 606 阅读 · 0 评论 -
13.kafka 收集日志的两种方式
方法一:kafka官网已经提供了非常方便的log4j的集成包 kafka-log4j-appender,我们只需要简单配置log4j文件,就能收集应用程序log到kafka中。#log4j.rootLogger=WARN,console,kafkalog4j.rootLogger=INFO,console# for package com.demo.kafka, log woul原创 2017-05-31 10:29:32 · 3457 阅读 · 0 评论 -
14.kafka 常用命令
创建topic ./kafka-topics.sh --create --zookeeper 206:2181/kafka --replication-factor 3 --partitions 3 --topic webaccess查看topic./kafka-topics.sh --zookeeper 206:2181/kafka -list ./ka原创 2017-05-31 10:52:08 · 646 阅读 · 0 评论 -
11.kafka 配置消息大小
Consumer Configs:fetch.message.max.bytes每个提取请求中为每个主题分区提取的消息字节数。要大于等于message.max.bytesProducer Configs:max.request.size请求的最大大小为字节。要小于 message.max.bytesBroker Configs:message.max.byt原创 2017-03-05 18:07:12 · 13451 阅读 · 2 评论 -
Kafka Consumer 概述
消费的规则如下:一个partition只能被同一个ConsumersGroup的一个线程所消费.线程数小于partition数,某些线程会消费多个partition.线程数等于partition数,一个线程正好消费一个线程.当添加消费者线程时,会触发rebalance,partition的分配发送变化.同一个partition的offset保证消费有序,不同的partition消费不保证顺原创 2016-11-22 13:25:18 · 694 阅读 · 0 评论 -
kafka stream 概述
Kafka Stream是什么Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。Kafka Stream的特点如下:Kafka Stream提供了一个非常简单而轻量的Library,它可以非常方便地嵌入任意Java应用中,也可以任意方式打包和部署除了Kafka原创 2017-12-26 14:01:31 · 2390 阅读 · 0 评论 -
kafka 认证与授权机制
1.概述在版本0.9.0.0中,kafka社区添加了一些单独或一起使用的功能,可以提高kafka集群的安全性。Kafka 目前支持SSL、SASL/Kerberos、SASL/PLAIN三种认证机制。目前支持以下安全措施:clients 与 brokers 认证brokers 与 zookeeper认证数据传输加密 between brokers and clients, between br...原创 2018-03-14 11:41:39 · 19614 阅读 · 0 评论 -
9.Kafka复制
Kafka复制高级设计副本展示位置初始展示位置在线增量添加代理离线经纪人数据复制相关工作同步复制写阅读故障场景跟随器故障领导失败异步复制开放式问题Kafka复制详细设计Kafka复制高级设计在Kafka中添加复制的目的是为了更强的耐久性和更高的可用性。我们希望保证任何成功发布的消息不会丢失,并且可以被消费,即使有服务器故障。这种故原创 2017-03-05 17:59:06 · 1406 阅读 · 0 评论 -
12.kafka Producer Example
生产者Producer类用于为特定主题和可选分区创建新消息。如果使用Java,您需要为Producer和支持类包括几个包:import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.Produ原创 2017-03-05 18:12:46 · 1994 阅读 · 0 评论 -
10. kafka SimpleConsumer Consumer
为什么使用SimpleConsumer?使用SimpleConsumer实现的主要原因是你想要更好地控制分区消耗比消费者组给你。例如,您想要:多次读取消息仅消耗进程中某个主题的分区的子集管理事务以确保邮件仅处理一次且仅处理一次使用SimpleConsumer的缺点SimpleConsumer需要在消费者组中不需要大量的工作:您必须跟踪应用程序中的偏移原创 2017-03-05 18:05:00 · 4427 阅读 · 0 评论 -
JMS与MQ
1JMS与MQ 1.1JMSJMS(Java Messaging Service)是Java平台上有关面向消息中间件(MOM)的技术规范,它便于消息系统中的Java应用程序进行消息交换,并且通过提供标准的产生、发送、接收消息的接口简化企业应用的开发,中文称Java消息服务。JMS是一种与厂商无关的 API,用来访问消息收发系统消息;就像JDBC(Java Database Conn原创 2016-11-22 10:10:49 · 701 阅读 · 0 评论 -
kafka自动关闭
使用守护进程方式启动bin/kafka-server-start.sh -daemon ./config/server.properties &原创 2016-11-25 16:44:33 · 5155 阅读 · 0 评论 -
四.kafka消息队列应用场景
消息队列Kafka很好地代替了一个更传统的消息队列。消息队列用于各种原因(用于将处理与数据生成器分离,缓冲未处理的消息等)。与大多数消息传递系统相比,Kafka具有更好的吞吐量,内置分区,复制和容错功能,这使其成为大规模消息处理应用程序的良好解决方案。在我们的经验中,消息传递使用通常比较低的吞吐量,但可能需要低端到端延迟,并且通常取决于Kafka提供的强大的持久性保证。在此域中,Kaf原创 2016-11-22 09:10:39 · 2525 阅读 · 0 评论 -
五.Kafka消息的时间戳
kafka在消息中增加了一个时间戳字段和时间戳类型。目前支持的时间戳类型有两种: CreateTime 和 LogAppendTime 前者表示producer创建这条消息的时间;后者表示broker接收到这条消息的时间(严格来说,是leader broker将这条消息写入到log的时间) 为什么要加入时间戳? 引入时间戳主要解决3个问题: **日志保存(log retention)策略:**原创 2017-03-01 13:21:11 · 9476 阅读 · 0 评论 -
六. KafkaOffsetMonitor的安装和使用
Topicslive topic/consumer mapping cluster view 下载地址https://github.com/quantifind/KafkaOffsetMonitor/releases/download/v0.2.0/KafkaOffsetMonitor-assembly-0.2.0.jarRun withjava -cp原创 2017-03-02 10:25:51 · 1569 阅读 · 0 评论 -
七. kafka性能测试
生产者调优,主要可以利用kafka-producer-perf-test.sh(org.apache.kafka.tools.ProducerPerformance)。通过测试不同的配置来对比发送效率。使用方法例子:./kafka-producer-perf-test.sh --topic test --num-records 100000 --throughput 100原创 2017-03-02 14:44:00 · 5982 阅读 · 3 评论 -
八.Kafka Consumer和 offset提交
原文https://www.confluent.io/blog/tutorial-getting-started-with-the-new-apache-kafka-0-9-consumer-client/ When Kafka was originally created, it shipped with a Scala producer and consumer client. Over ti原创 2017-03-03 11:22:52 · 4199 阅读 · 0 评论