Kafka原理和集群测试

Kafka是一个消息系统,由LinkedIn贡献给Apache基金会,称为Apache的一个顶级项目。Kafka最初用作LinkedIn的活动流(activity stream)和运营数据处理管道(pipeline)的基础。它具有可扩展、吞吐量大和可持久化等特征,以及非常好的分区、复制和容错特征。...

2015-12-23 15:52:30

阅读数:370

评论数:0

Kafka操作日志的清理方法

1 Kafka操作日志的清理方法 Kafka0.8版本长时间运行过程中,在kafka_2.8.0-0.8.0/logs目录下产生了大量的kafka-request.log.*和server.log.*文件,其中*代表日期和时间,比如kafka-request.log.2014-12-08-03和...

2015-10-07 11:22:58

阅读数:1843

评论数:0

Kafka文件存储机制那些事

Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶...

2015-08-21 16:43:30

阅读数:255

评论数:0

kafka安装与常用命令

下载了最新的版本0.8.0 Beta1 Release 下载地址:http://apache.org/dist/kafka/0.8.2.1/kafka_2.10-0.8.2.1.tgz   一、安装 # tar xzvf kafka-0.8.0-beta1-src.tgz # cd kaf...

2015-08-21 14:53:08

阅读数:317

评论数:0

kafka的consumer接口

对于kafka的consumer接口,提供两种版本,   high-level 一种high-level版本,比较简单不用关心offset, 会自动的读zookeeper中该Consumer group的last offset 参考,https://cwiki.apache.org/co...

2015-08-21 14:44:32

阅读数:416

评论数:0

kafka 配置文件参数详解

kafka的配置分为 broker、producter、consumer三个不同的配置 一 BROKER 的全局配置 最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。 帮助 1 2 3 4 5 6 7 8 9 10 11 12 13 ...

2015-08-20 17:09:45

阅读数:6521

评论数:0

kafka 常用命令说明

##查看topic分布情况 kafka-list-topic.sh bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181  (列出所有topic的分区情况) bin/kafka-lis...

2015-08-20 17:03:56

阅读数:281

评论数:0

kafka java客户端代码示例

目录[-] 介绍 测试环境 代码示例 pom.xml文件 介绍      http://kafka.apache.org      kafka是一种高吞吐量的分布式发布订阅消息系统      kafka是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对...

2015-08-20 17:02:27

阅读数:350

评论数:0

kafka安装配置与测试

kafka安装配置   说白了kafka安装非常简单,只需要修改config/server.property文件, 除了要让borker.id不同,另外要设置一下zookeeper的地址,如果讲究的话把日志生成到指定的一个目录别放到tmp目录 启动就是kafka-server-star...

2015-08-19 09:57:19

阅读数:268

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭