极客神殿

坚持,自由,信仰

排序:
默认
按更新时间
按访问量

如何为Kafka集群选择合适的Topic/Partitions数量

这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素,并提供一些简单的计算公式。 越多的分区可以提供更高的吞吐量 首先我们需要明白以下事实:在kafka中,单个patition是kafka并行操作的最小单元。在producer和broker端,向每一...

2018-07-24 10:32:44

阅读数:130

评论数:0

如何确定Kafka的分区数、key和consumer线程数

在Kafak中国社区的qq群中,这个问题被提及的比例是相当高的,这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。 怎么确定分区数? “我应该选择几个分区?”——如果你在Kafka中国社区的群里,这样的问题你会经常碰到的。...

2018-07-24 10:14:15

阅读数:63

评论数:0

Kafka数据可靠性与一致性解析

1.Partition Recovery机制每个Partition会在磁盘记录一个RecoveryPoint, 记录已经flush到磁盘的最大offset。当broker fail 重启时,会进行loadLogs。 首先会读取该Partition的RecoveryPoint,找到包含Recover...

2018-03-10 12:05:27

阅读数:148

评论数:0

kafka数据可靠性深度解读

1 概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。Kafka凭借着自身的优...

2018-03-10 11:59:28

阅读数:110

评论数:0

Kafka学习之怎么保证不丢,不重复消费数据

Kafka作为当下流行的高并发消息中间件,大量用于数据采集,实时处理等场景,我们在享受他的高并发,高可靠时,还是不得不面对可能存在的问题,最常见的就是丢包,重发问题。 丢包问题:消息推动服务,每天早上,手机上各终端都会给用户推送消息,这时候流量剧增,可能会出现kafka发送数据过快,导致服务器...

2018-03-08 22:40:36

阅读数:702

评论数:0

kafka 0.9.0.0重复消费问题解决

背景:之前用的kafka客户端版本是0.8,近期升级了kafka客户端的版本,写了新的消费者和生产者的代码,在本地测试没有问题,可以正常消费与生产。但最近的项目中使用了新版的代码,当数据量较大时会出现重复消费的问题。现将问题的排除与解决过程记录下来,避免再次踩坑。 问题发现:由于Consumer...

2018-03-08 22:39:05

阅读数:317

评论数:0

Kafka集群配置---Windows版

Kafka是一种高吞吐量的分布式发布订阅的消息队列系统,Kafka对消息进行保存时是通过tipic进行分组的。今天我们仅实现Kafka集群的配置。前言最近研究kafka,发现网上很多关于kafka的介绍都是基于Linux操作系统的。虽然这些服务最后都是配置Linux上的。但是我们平时使用的大多都是...

2017-09-13 11:51:29

阅读数:431

评论数:0

window环境搭建zookeeper,kafka集群

本文是对在window环境下如何搭建zookeeper集群和kafka集群的研究,如果你正在查找相关此类资料,希望本文能对你有所帮助。网上很多资料关于”kafka集群”几乎都是一个模样,写得东西很类似,而且很多细节没有注明,需要在不断的测试过程中推敲才能得到理想的结果。本篇文章力求能尽量说明每一个...

2017-09-13 10:43:09

阅读数:501

评论数:0

Kafka设计与原理详解

一、Kafka简介本文综合了我之前写的kafka相关文章,可作为一个全面了解学习kafka的培训学习资料。1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战:如何收集这些巨大的信息 如何分析它 如何及时做到如上两点...

2017-09-13 09:47:40

阅读数:523

评论数:0

Kafka详解二、如何配置Kafka集群

Kafka集群配置比较简单,为了更好的让大家理解,在这里要分别介绍下面三种配置单节点:一个broker的集群 单节点:多个broker的集群 多节点:多broker集群 一、单节点单broker实例的配置1. 首先启动zookeeper服务Kafka本身提供了启动zookeeper的脚本(在kaf...

2017-09-12 13:54:59

阅读数:254

评论数:0

kafka详解一、Kafka简介

背景: 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战:如何收集这些巨大的信息 如何分析它 如何及时做到如上两点 以上几个挑战形成了一个业务需求模型,即生产者生产(produce)各种信息,消费者消费...

2017-09-12 13:08:38

阅读数:478

评论数:0

Kafka.net使用编程入门(四)

新建一个cmd窗口,zkServer命令启动zookeeper 打开另一个cmd窗口,输入:cd D:\Worksoftware\Apachekafka2.11\bin\windowskafka-server-start D:\Worksoftware\Apachekafka2.11\conf...

2017-03-17 13:04:10

阅读数:2005

评论数:0

Kafka.net使用编程入门(三)

这个世界既不是有钱人的世界,也不是有权人的世界,它是有心人的世界。一些有用的命令1.列出主题:kafka-topics.bat –list –zookeeper localhost:21812.描述主题:kafka-topics.bat –describe –zookeeper localhost...

2016-12-14 23:32:00

阅读数:3676

评论数:3

Kafka入门经典(官网翻译)

Kafka独特设计在什么地方? Kafka如何搭建及创建topic、发送消息、消费消息? 如何书写Kafka程序? 数据传输的事务定义有哪三种? Kafka判断一个节点是否活着有哪两个条件? producer是否直接将数据发送到broker的leader(主节点)? Kafa consumer是否...

2016-12-14 21:56:28

阅读数:760

评论数:2

Kafka.net使用编程入门(二)

1.首先创建一个Topic,命令如下: kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MyTopic 2.创建两个控制台程序: ...

2016-06-29 22:20:25

阅读数:4633

评论数:0

Kafka.net使用编程入门(一)

最近研究分布式消息队列,分享下! 首先zookeeper  和 kafka 压缩包 解压 并配置好! 我本机zookeeper环境配置如下: D:\Worksoftware\ApacheZookeeper3\conf\zoo.cfg 以下是kafka的配置 D:\Worksoftwa...

2016-06-29 22:17:45

阅读数:7893

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭