Kafka
Kevin.Yang
这个作者很懒,什么都没留下…
展开
-
presto的安装与部署(对接kafka)
Preston 官网:http://prestodb.io/Preston Github 主页:https://github.com/facebook/presto一 安装环境操作系统:CenteOs 6.6 JDK 版本:1.8ps: 本测试将presto的coordinator和worker都部署在一个节点上。二 安装Presto2.1 下载原创 2016-01-12 23:19:43 · 8633 阅读 · 2 评论 -
Kafka的通讯协议
以下文章转载自:http://blog.csdn.net/jewes/article/details/42744855Kafka的通讯协议标签:kafkaKafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完全是为了Kafka自身的业务需求而定制的,而非要实现一套类似于Protocol Buffer的通用协议。本文将介绍这套协转载 2016-04-07 13:39:52 · 3031 阅读 · 0 评论 -
使用kafka consumer high-level API开发的一些问题
Kafka的consumer是以pull的形式获取消息数据的,consumer提供两种版本,即high level 和low level API。1 consumer和partition1)如果consumer比partition多,是浪费,因为kafka的设计是在一个partition上是不允许并发的,所以consumer数不要大于partition数 2)如果consumer比partiti原创 2016-04-05 22:11:45 · 10774 阅读 · 0 评论 -
关于kafka producer 分区策略的思考
今天跑了一个简单的kafka produce程序,如下所示public class kafkaProducer extends Thread{ private String topic; public kafkaProducer(String topic){ super(); this.topic = topic; }原创 2016-04-07 16:24:53 · 23438 阅读 · 5 评论 -
kafka在zookeeper中一些存储结构
本文主要查看kafka在zookeeper中的一些存储结构,便于更好的理解kafka的工作原理,其测试环境如下:kafka 0.8.1.1zookeeper 3.4.51 Broker node 注册当一个kafka broker启动后,会向zookeeper注册自己的节点信息,该节点为一个临时节点,当当broker断开和zookeeper的连接时,其临时节点将会被删除。其路径为: /broker原创 2016-04-08 13:29:38 · 8464 阅读 · 4 评论 -
Kafka的安装配置与测试
(一)安装与配置安装列表kafka_2.10-0.8.1.1.tarjdk1.7.0_51.tar1 安装jdk如果jdk已安装,可以跳过;没有安装的可以参照:http://blog.csdn.net/ouyang111222/article/details/503441352 安装kafka1.2.1 解压kafka我的集群有3台机器,ip分别为ip1、ip2、原创 2015-12-17 17:44:46 · 2897 阅读 · 0 评论