- 博客(14)
- 资源 (7)
- 收藏
- 关注
RSS订阅转载 kafka性能参数和压力测试揭秘
Kafka在设计上是如何来保证高时效、大吞吐量的，主要的内容集中在底层原理和架构上，属于理论知识范畴。这次我们站在应用和运维的角度，聊一聊集群到位后要怎么才能最好的配置参数和进行测试性能。Kafka的配置详尽且复杂，想要进行全面的性能调优需要掌握大量信息，我也只是通过工作中的一些实战经验来筛选出对集群性能影响最大的几个要点，接下来要阐述的观点也仅限于我所描述的环境下，请大家根据自己的环境适当取舍。
2017-08-31 16:44:56
304
转载 漫游Kafka实战篇之客户端编程实例
新版的Producer API提供了以下功能：可以将多个消息缓存到本地队列里，然后异步的批量发送到broker，可以通过参数producer.type=async做到。缓存的大小可以通过一些参数指定：queue.time和batch.size。一个后台线程（(kafka.producer.async.ProducerSendThread）从队列中取出数据并让kafka.producer.E
2017-08-31 16:06:22
267
转载 总结kafka的consumer消费能力很低的情况下的处理方案
简介由于项目中需要使用kafka作为消息队列，并且项目是基于spring-boot来进行构建的，所以项目采用了spring-kafka作为原生kafka的一个扩展库进行使用。先说明一下版本：spring-boot 的版本是1.4.0.RELEASEkafka 的版本是0.9.0.x 版本spring-kafka 的版本是1.0.3.RELEASE用过kafka的人都知道，对于使用k
2017-08-31 14:22:21
1622
转载 Kafka Manager实现原理与填坑
Kafka Manager 简介Kafka Manager 可能是现在能找到的最好的可视化的Kafka管理工具, 感谢Yahoo-我人生中打开的一个网站-的开源;使用Kafka Manager, 基本上之前需要运行Kafka相应命令行工具的工作现在都可以可视化的完成:创建Topic, 调整消息保存时长, Partition数量等等配置;管理Topic, 包括Reassign Par
2017-08-29 11:41:35
6685
1
原创 kafka管理器kafka-manager部署安装
Kafka 0.8.1.1+sbt 0.13.xJava 7+功能为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时
2017-08-29 09:51:49
555
原创 KafkaOffsetMonitor
java -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk 172.16.1.155:2181 --port 8089 --refresh 10.seconds --retain 1.daysserving resources from: jar:file:
2017-08-28 17:31:54
346
原创 kafka web console监控软件的安装
1、安装kafka web console软件前先安装sbt安装：我的系统为centos7故采用官方提供的在线安装：curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.reposudo mv bintray-sbt-rpm.repo /etc/yum.repos.d/sudo yum install sbt然
2017-08-28 15:11:33
5470
转载 Kafka三款监控工具比较(转)
在之前的博客中，介绍了Kafka Web Console这 个监控工具，在生产环境中使用，运行一段时间后，发现该工具会和Kafka生产者、消费者、ZooKeeper建立大量连接，从而导致网络阻塞。并且这个 Bug也在其他使用者中出现过，看来使用开源工具要慎重！该Bug暂未得到修复，不得已，只能研究下其他同类的Kafka监控软件。通过研究，发现主流的三种kafka监控程序分别为：
2017-08-28 11:26:50
354
转载 14个最常见的Kafka面试题及答案
1、请说明什么是Apache Kafka? Apache Kafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和重复的日志服务。 2、请说明什么是传统的消息传递方法? 传统的消息传递方法包括两种： ·排队：在队列中，一组用户可以从服务器中读取消息，每条消息都发送给其中一个人。 ·发布-订阅：在这个模型中，消息被广播给所有的
2017-08-25 11:16:09
19050
原创 跟踪kafka配置max.poll.records参数有否生效
kafka消费客户端使用Spring-kafka第三方库的开源jar包，引入Maven org.apache.kafka kafka_2.10 0.10.2.1 org.springframework.kafka sprin
2017-08-24 10:00:19
36745
1
转载 kafka常见问题汇总
1、kafka集群中常见错误的解决方法：kafka.common.KafkaException: Should not set log end offset on partition问题描述：kafka单台机器做集群操作是没有问题的，如果分布多台机器并且partitions或者备份的个数大于1都会报kafka.common.KafkaException: Should not se
2017-08-23 15:25:33
13427
1
原创 kafka提供的broker配置server.properties
# Replication configurationsnum.replica.fetchers=4replica.fetch.max.bytes=1048576replica.fetch.wait.max.ms=500replica.high.watermark.checkpoint.interval.ms=5000replica.socket.timeout.ms=30000rep
2017-08-23 15:09:46
2466
epel-release-6-8.noarch
2016-04-01
centos安装telnet插件与说明
2016-02-01
centos安装telnet使用
2015-10-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人