kafka
蒙奇.D.庆
这个作者很懒,什么都没留下…
展开
-
kafka的组件、进程、端口号
组件:Producer:生产者Consumer:消费者Broker:kafka集群的server,负责处理消息读写请求,存储消息Topic:消息队列、分类Queue:里边有生产者消费者模型进程:producer、consumer、broker、leader、follower、consumerGroup端口号:kafka学习默认端口号9092组件挂掉及影响:leader:挂掉之后,会在ISR之中在选择一个leader,但是得遵循半数机制follower:可同步数据的节点少一个,但是原创 2020-08-31 16:41:45 · 1843 阅读 · 0 评论 -
kafka集群部署及命令行操作
kafka2.2.1、zookeeper、centOs7原创 2020-02-24 20:00:42 · 226 阅读 · 0 评论 -
kafka topic消息分配partition规则
我们知道Kafka 的消息通过topic进行分类。topic可以被分为若干个partition来存储消息。消息以追加的方式写入partition,然后以先入先出的顺序读取。下面是topic和partition的关系图:我们一般会在server.conf中通过num.partitions参数指定创建topic时包含多少个partition。默认是num.partitions=1。既然一个to...原创 2020-02-24 18:25:16 · 1530 阅读 · 0 评论 -
kafka生产者常用参数含义
kakfa 生产者参数比较重要的几个参数下面列出来出来,下面将详细的说明这些参数的含义:bootstrap.servers: broker的地址key.serializer:关键字的序列化方式value.serializer:消息值的序列化方式acks:指定必须要有多少个分区的副本接收到该消息,服务端才会向生产者发送响应,可选值为:0,1,2,…,allbuffer.memory:生...原创 2020-02-24 18:17:44 · 297 阅读 · 0 评论 -
kafka消费者参数配置
参数默认设置auto.commit.interval.ms = 5000check.crcs = trueclient.id = connections.max.idle.ms = 540000enable.auto.commit = falseexclude.internal.topics = truefetch.max.wait.ms = 500fetch.min.bytes ...原创 2020-02-24 17:46:07 · 588 阅读 · 0 评论 -
kafka知识总结
1.什么是kafka?Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。2.流式计算?大体包括storm、 sparkStreaming 、flinkstorm:来一条数据,处理一条,实时性好sparkStreaming :微批处理,延迟性较差,但是兼容性好flink:一个流系统,采用原生的流处理系统,保证了低延迟性,在API和容错性上也是做的比较完善...原创 2020-02-20 15:44:29 · 118 阅读 · 0 评论