- 博客(18)
- 收藏
- 关注
RSS订阅转载 Kafka Controller重设计
本文主要参考社区0.11版本Controller的重设计方案，试图给大家梳理一下Kafka controller这个组件在设计上的一些重要思考。众所周知，Kafka中有个关键组件叫controller，负责管理和协调Kafka集群。网上关于controller的源码分析也有很多，本文就...
2017-06-12 11:54:00
133
转载 【译】调优Apache Kafka集群
今天带来一篇译文“调优Apache Kafka集群”，里面有一些观点并无太多新颖之处，但总结得还算详细。该文从四个不同的目标出发给出了各自不同的参数配置，值得大家一读~ 原文地址请参考：https://www.confluent.io/blog/optimizing-apache-ka...
2017-06-03 11:50:00
118
转载 Flink分布式运行环境
任务和操作算子链接(operator chain) 分布式执行过程中，Flink会将操作算子子任务(subtask)链接成一个个具体的任务(task)，在不同的线程中执行。链接操作算子在一起实际上是个优化：减少了线程间传递与缓存的开销，从而提升了TPS还减少了延时。下图即表示了5个...
2017-05-23 16:43:00
133
转载 Apache Flink编程模型
层次模型 Flink编程模型提供了4个抽象层次，它们分别是： 最底层：提供了有状态流，通过Process Function被集成进DataStream API和DataSet API。用户可自由地处理多个stream中的事件维护一致性状态已达到高容错性。另外用户还可以注册e...
2017-05-23 11:30:00
132
转载 Apache Flink Quickstart
本文在CentOS 6 64bit机器上演示Apache Flink环境的搭建以及运行测试样例。 下载Flink 1. 下载Flink:http://flink.apache.org/downloads.html 2.解压下载文件， 当前最新版本是flink-1.2.1-b...
2017-05-22 14:54:00
104
转载 Apache Flink介绍
Flink：开源分布式流式处理框架 基本特性 提供准确的结果，即使是面对无序或延迟数据 有状态的且容错，可无缝恢复，且能维持精确一次处理语义 运行在大规模多节点上，有很好的TPS和延时性能 很多Flink特性——状态管理，无序数据处理和灵活的时间窗口都是用于实...
2017-05-22 10:43:00
83
转载 【译】Kafka学习之路
一直在思考写一些什么东西作为2017年开篇博客。突然看到一篇《Kafka学习之路》的博文，觉得十分应景，于是决定搬来这“他山之石”。虽然对于Kafka博客我一向坚持原创，不过这篇来自Confluent团队Gwen Shapira女士的博文实在精彩，所以还是翻译给大家，原文参见这里。 ...
2017-05-20 08:33:00
76
转载 Kafka producer剖析
Kafka 0.9版本正式使用Java版本的producer替换了原Scala版本的producer。本文着重讨论新版本producer的设计原理以及基本的使用方法。 新版本Producer 首先明确一下，新版本producer指的是o.a.k.clients.produ...
2017-05-19 17:19:00
91
转载 Kafka manager安装 (支持新版本consumer)
下载地址：https://pan.baidu.com/s/1jIE3YL4 步骤： 1. 解压kafka-manager-1.3.2.1.zip 2. cdkafka-manager-1.3.2.1 3. 修改conf/application.conf文件，特别是kafka-ma...
2017-05-19 17:17:00
270
转载 Java API方式调用Kafka各种协议
众所周知，Kafka自己实现了一套二进制协议(binary protocol)用于各种功能的实现，比如发送消息，获取消息，提交位移以及创建topic等。具体协议规范参见：Kafka协议 这套协议的具体使用流程为： 客户端创建对应协议的请求 客户端发送请求给对应的broke...
2017-05-19 17:15:00
142
转载 Kafka版本升级（无停机）
升级Kafka集群的版本其实很简单，核心步骤只需要4步，但是我们需要在升级的过程中确保每一步操作都不会“打扰”到producer和consumer的正常运转。为此，笔者在本机搭了一个测试环境进行实际的版本升级实验。在开始之前，简要介绍一下测试环境的部署情况及目标：Kafka 0.10....
2017-05-19 17:10:00
568
转载 Kafka创建Topic（API方式）
Kafka官方提供了两个脚本来管理topic，包括topic的增删改查。其中kafka-topics.sh负责topic的创建与删除；kafka-configs.sh脚本负责topic的修改和查询，但很多用户都更加倾向于使用程序API的方式对topic进行操作。 上一篇文章中...
2017-05-19 17:02:00
1656
转载 KAFKA-4614问题复盘 (MappedByteBuffer未关闭导致慢磁盘访问)
很早之前就想动笔就这个kafka bug总结一番了，只是这个问题既不是本人发现，也不是自己动手修复，终归是底气不足，故而一直耽搁下来。怎奈此问题实在是含金量十足，又恰逢最近有人询问Kafka 0.10.2都有哪些提升，我终究还是决定给这个bug写点东西了。事先声明：这是一个日本人(下称...
2017-05-19 16:55:00
175
转载 【译】Kafka最佳实践
本文来自于DataWorks Summit/Hadoop Summit上的《Apache Kafka最佳实践》分享，里面给出了很多关于Kafka的使用心得，非常值得一看，今推荐给大家。 硬件配置 JBOD: Just bunch of disks，就是普通的一堆磁盘组成的集群...
2017-05-19 16:49:00
258
转载 Kafka双向兼容了！
在Kafka 0.10.2.0之前，Kafka服务器端和客户端版本之间的兼容性是“单向”的，即高版本的broker可以处理低版本client的请求。反过来，低版本的broker不能处理高版本client的请求。由于升级client要远比升级broker简单得多，因此这个限制给很多用户带...
2017-05-19 16:47:00
4746
转载 Kafka 0.11版本新功能: 空消费组延时rebalance
在0.11之前的版本中，多个consumer实例加入到一个空消费组将导致多次的rebalance，这是由于每个consumer instance启动的时间不可控，很有可能超出coordinator确定的rebalance timeout(即max.poll.interval.ms)，而每次r...
2017-05-19 16:31:00
85
转载 Streaming 101
开宗明义！本文根据Google Beam大神Tyler Akidau的系列文章《The world beyond batch: Streaming 101》(批处理之外的流式世界)整理而成， 主要讨论流式数据处理。在大数据领域，流式数据处理越发地重要了。原因有以下几点： 人们...
2017-05-19 16:23:00
161
转载 Kafka环境安装与部署
本文讲述如何安装Apache Kafka，包括安装Kafka的broker服务器和Apache zookeeper组件。Kafka使用zookeeper来保存broker的元数据信息。另外本文还会涉及到Kafka多节点集群的安装以及常规参数的设置。 准备工作 操作系统 Kafka是一...
2017-02-17 09:54:00
108
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人