kafka
小江_xiaojiang
这个作者很懒,什么都没留下…
展开
-
Kafka学习整理一(基础概念)
Kafka基础概念Kafka中包含以下基础概念 1. Topic(话题):Kafka中用于区分不同类别信息的类别名称。由producer指定 2. Producer(生产者):将消息发布到Kafka特定的Topic的对象(过程) 3. Consumers(消费者):订阅并处理特定的Topic中的消息的对象(过程) 4. Broker(Kafka服务集群):已发布的消息保存在一组转载 2017-09-26 10:15:31 · 317 阅读 · 0 评论 -
kafka问题总结
kafka重启如果topic副本因子是一个的有可能导致以下两种问题:1、class kafka.common.LeaderNotAvailableException错误处理方案:一般是zk上的leader信息和broker上的leader信息不一致可以通过如下命令检查zk上信息:get /brokers/topics/profile-manual-x/partitions/原创 2017-10-25 09:56:50 · 691 阅读 · 0 评论 -
kafka在zookeeper中存储结构
1.topic注册信息/brokers/topics/[topic] :存储某个topic的partitions所有分配信息Schema:{ "version": "版本编号目前固定为数字1", "partitions": { "partitionId编号": [ 同步副本组brokerId列表转载 2017-10-12 16:45:44 · 414 阅读 · 0 评论 -
Kafka学习整理三(borker(0.9.0及0.10.0)配置)
Kafka日志本身是由多个日志段组成(log segment)。一个日志是一个FileMessageSet,它包含了日志数据以及OffsetIndex对象,该对象使用位移来读取日志数据 * borker配置就是指配置server.properties文件 *最小配置通常情况下需要在减压缩kafka后,修改config/server.properties 配置文件中的以下两项log.转载 2017-09-26 11:20:06 · 407 阅读 · 0 评论 -
kafka常用命令
转载地址:http://www.cnblogs.com/zzt-lovelinlin/p/6228773.htmlkafka常用命令以下是kafka常用命令行总结:0.查看有哪些主题: ./kafka-topics.sh --list --zookeeper 192.168.0.201:121811.查看topic的详细信息./kafka-topics.sh转载 2017-09-12 14:20:16 · 1795 阅读 · 0 评论 -
Kafka学习整理九(集群的扩容)
第一步 配置新得broker将现有的集群上任一个服务器上的kafka目录拷贝到新的服务器上修改config/server.properties中的broker.id、log.dirs、listeners创建logs.dirs指定的目录,并设定读写权限(chomd -R 777 XXX)broker.id=3log.dirs=kafka-logslisteners=PLAIN转载 2017-09-26 11:30:58 · 389 阅读 · 0 评论 -
Kafka学习整理八(topic管理)
一、创建topic使用命令行手动或者向一个不存在的topic发送(生产)消息时都会新创建一个topic 向一个不存在的topic发送(生产)消息时新创建的topic时,其采用为默认的topic-config配置以及server.properties中的topic的配置。使用命令行手动创建一个topic可以使用 –config 选项配合topic-config配置中的信息来覆盖默认配转载 2017-09-26 11:27:55 · 585 阅读 · 0 评论 -
Kafka学习整理六(server.properties配置实践)
配置实践基于kafka的 0.10.0版本单机伪集群的配置第一步:打开config/server.properties 文件,修改broker.id,listeners,port,log.dirsvi config/server.properties 1broker.id=0listeners=PLAINTEXT://172.16.49.173:9092port=9092log.转载 2017-09-26 11:24:25 · 1076 阅读 · 0 评论 -
Kafka学习整理五(Consumer配置)
PropertyDefaultDescriptiongroup.id 用来唯一标识consumer进程所在组的字符串,如果设置同样的group id,表示这些processes都是属于同一个consumer groupzookeeper.connect 指定zookeeper的连接的字符串,格式是hostnam转载 2017-09-26 11:21:44 · 405 阅读 · 0 评论 -
Kafka学习整理四(Producer配置)
名称说明类型默认值有效值重要性bootstrap.servers用于建立与kafka集群连接的host/port组。数据将会在所有servers上均衡加载,不管哪些server是指定用于bootstrapping。这个列表仅仅影响初始化的hosts(用于发现全部的servers)。这个列表格式:host1:port1,host转载 2017-09-26 11:20:51 · 424 阅读 · 0 评论 -
Kafka学习整理二(定义、特点、应用场景)
Kafka是什么Kafka最先由LinkedIn公司开发,之后成为Apache的顶级项目。Kafka是一个分布式的、分区化、可复制提交的日志服务LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和,那么作为一个可扩展、高可靠的消息系统Kafaka的特点Kafaka是分布式的,其所有的构件borker(服务端集群)、producer(消息生产)、consumer(消息转载 2017-09-26 11:12:49 · 288 阅读 · 0 评论 -
Kafka学习整理七(producer和consumer编程实践)
实践代码采用kafka-clients V0.10.0.0 编写一、编写producer第一步:使用./kafka-topics.sh 命令创建topic及partitions 分区数./kafka-topics.sh --create--zookepper "172.16.49.173:2181" --topic "producer_test" --partitions 10 rep转载 2017-09-26 11:26:58 · 1643 阅读 · 0 评论