xiao_jun_0820的专栏

apache kafka中国社区QQ群:162272557每当有新blog发布时，会在此处更新，欢迎大家拍砖共同成长目录索引：1）apache kafka消息服务2）kafka在zookeeper中存储结构3）kafka log4j配置4）kafka replication设计机制5）apache kafka监控系列-监控指标6）kafka.common

https://docs.confluent.io/current/streams/faq.htmlFAQAttentionWe are looking for feedback on APIs, operators, documentation, and really anything that will make the end user experience better. Feel fre...

https://docs.google.com/document/d/1pGZ8xtOOyGwDYgH5vA6h19zOMMaduFK1DAB8_gBYA2c/edit#Kafka Streams Exactly Once DesignThis document serves to describe the detailed implementation design of KIP-129: St...

kafka home bin目录下面有个kafka-run-class.sh脚本，其中有定义会打印详细的kafka gc日志while [ $# -gt 0 ]; do  COMMAND=$1  case $COMMAND in    -name)      DAEMON_NAME=$2      CONSOLE_OUTPUT_FILE=$LOG_DIR/$DAEM

前言这是一篇学习笔记。学习的材料来自Jay Kreps的一篇讲Log的博文。原文很长，但是我坚持看完了，收获颇多，也深深为Jay哥的技术能力、架构能力和对于分布式系统的理解之深刻所折服。同时也因为某些理解和Jay哥观点吻合而略沾沾自喜。Jay Kreps是前Linkedin的Principal Staff Engineer，现任Confluent公司的联合创始人

这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。文章目录 [hide]1 越多的分区可以提供更高的吞吐量2 越多的分区需要打开更多地文件句柄3 更多地分区会导致更高的不可用性4 越多的分区可能增加端对端的延迟5 越多的partition意味着需要客户端需要

package com.hupu.dace.spark.streamingimport java.util.Propertiesimport com.hupu.dace.hbaserestful.util.HdfsUtilimport DaceFunctions._import org.apache.kafka.clients.producer.{KafkaProducer, Prod

七牛是如何搞定每天500亿条日志的2015-07-31 CSDN 七牛云存储7月30日，七牛数据平台工程师王团结在CSDN Spark微信用户群，与近千名Spark技术开发人员，结合七牛内部使用的数据平台，深入分享了团队是如何利用Flume、Kafka、Spark Streaming等技术搞定每天500亿条日志的，并详细讲解了各个工具使用的注意点。王团结，主要负责七牛数

大家都知道在spark1.3版本后，kafkautil里面提供了两个创建dstream的方法，一个是老版本中有的createStream方法，还有一个是后面新加的createDirectStream方法。关于这两个方法的优缺点，官方已经说的很详细(http://spark.apache.org/docs/latest/streaming-kafka-integration.html)，总之就是cr

启动kafka服务：bin/kafka-server-start.sh config/server.properties &停止kafka服务：bin/kafka-server-stop.sh创建topic:bin/kafka-topics.sh --create --zookeeper hadoop002.local:2181,hadoop001.local:

首先，kafka的topic是由多个partitions物理分隔的。假设topic: testIn,有8个partitions其次，我们编写的springcloud kafka stream程序，打成jar包后，可以部署多个不同的实例instances，假设部署了3个instance。那么这3个instance是怎么分配这8个partitions的呢？在spring.cloud.stream.ka...