kafka
文章平均质量分 88
TURING.DT
科技改变世界,技术改变人生。
展开
-
在Kafka上创建一个Topic及apache kafka中topic级别配置
手动创建./bin/kafka-topics.sh –zookeeper 172.16.8.225:2181/config/mobile/mq –create –topic test.example –replication-factor 2 –partitions 24–topic指定topic name–partitions指定分区数,这个参数需要根据broker数和数据量决定,正原创 2016-04-13 14:08:27 · 2738 阅读 · 0 评论 -
kafka集群下线broker节点实践方法
kafka集群broker 0(10.11.32.76 hadooptest76.bj)broker 1(10.11.32.77 hadooptest77.bj)broker 2(10.11.32.81 hadooptest81.bj)操作任务:下线broker 2节点,确保业务不中断,数据不丢失。一、先决条件,kafka启动必须加上JMX_PORT=原创 2017-04-27 16:20:48 · 9018 阅读 · 0 评论 -
kafka性能调优
主要优化原理和思路kafka是一个高吞吐量分布式消息系统,并且提供了持久化。其高性能的有两个重要特点: 利用了磁盘连续读写性能远远高于随机读写的特点; 并发,将一个topic拆分多个partition。要充分发挥kafka的性能,就需要满足这两个条件kafka读写的单位是partition,因此,将一个topic拆分为多个partition可以提高吞吐量。但转载 2016-12-05 11:08:03 · 3089 阅读 · 0 评论 -
kafka处理超大消息的方案
Kafka设计的初衷是迅速处理短小的消息,一般10K大小的消息吞吐性能最好(可参见LinkedIn的kafka性能测试)。但有时候,我们需要处理更大的消息,比如XML文档或JSON内容,一个消息差不多有10-100M,这种情况下,Kakfa应该如何处理?针对这个问题,有以下几个建议:最好的方法是不直接传送这些大的数据。如果有共享存储,如NAS, HDFS, S3等,可以把这些大的文转载 2017-01-23 19:39:21 · 2525 阅读 · 0 评论 -
kafka数据同步/镜像工具 kafka mirror maker
默认安装kafka后有个Kafka MirrorMaker服务,无法启动。2016-08-05 15:20:50,333 INFO kafka.tools.MirrorMaker$: Starting mirror maker2016-08-05 15:20:50,356 ERROR kafka.tools.MirrorMaker$: Exception when starting原创 2016-09-05 15:52:46 · 2879 阅读 · 0 评论 -
CDH集成kafka方法实践
(本文以KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel和CDH5.5.1版本截图,最后出现兼容问题,将KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel换为KAFKA-0.8.2.0-1.kafka1.4.0.p0.56-el6.parcel就正常,请大家先查看版本兼容问题)参考CDH官网文档:http://www.cloudera.com/cont原创 2016-09-05 14:32:28 · 8119 阅读 · 1 评论 -
KafkaOffsetMonitor监控工具的安装与使用
KafkaOffsetMonitor是有由Kafka开源社区提供的一款Web管理界面,这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,你可以通过浏览当前的消费者组,并且每个Topic的所有Partition的消费情况都可以观看的一清二楚。它让我们很直观的知道,每个Partition的Message是否消费掉,有木有阻塞等等这个W原创 2016-08-22 18:08:52 · 1487 阅读 · 0 评论 -
Kafka监控--KafkaOffsetMonitor安装部署
KafkaOffsetMonitor安装部署KafkaOffsetMonitor是有由Kafka开源社区提供的一款Web管理界面,这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,你可以通过浏览当前的消费者组,并且每个Topic的所有Partition的消费情况都可以观看的一清二楚。它让我们很直观的知道,每个Partition的Mes原创 2016-04-13 14:27:47 · 776 阅读 · 0 评论 -
kafka-manager监控工具安装
kafka-manager监控工具安装1、下载源码文件https://github.com/yahoo/kafka-manager安装sbtsbt是scala的打包构建工具。http://www.scala-sbt.org/download.htmlubuntu下载、安装:下载,编绎,生成发布包:git clone https://github.com/原创 2016-04-13 14:26:54 · 6913 阅读 · 0 评论 -
kafka如何彻底删除topic
网上都说用kafka-run-class.shkafka.admin.DeleteTopicCommand 命令删除topic,但是并没有成功,用kafka-topics.sh命令查看依然可以查看到topic,应该怎样才能彻底删除topic?一、**kafka 0.8.1.1以及之前版本**都无法使用类似一条命令就彻底删除topic,此命令不过只是在zookeeper注销信息而已,但是转载 2017-05-31 17:06:10 · 1938 阅读 · 0 评论