kafka
文章平均质量分 62
boat824109722
这个作者很懒,什么都没留下…
展开
-
kafka系列-kafka教程
kafka简介 1、kafka是一个分布式的消息缓存系统,稳定性高,吞吐量高,适合高并发项目 2、kafka集群中的服务器都叫做broker 3、kafka有两类客户端,一类叫producer(消息生产者),一类叫做consumer(消息消费者),客户端和broker服务器之间采用tcp协议连接 4、kafka中不同业务系统的消息可以通过topic进行区分,而且每一个消息topic都会被分原创 2017-12-15 09:14:07 · 2515 阅读 · 0 评论 -
kafka系列-kafka配置
#唯一标识在集群中的ID,要求是正数。 broker.id=0 #服务端口,默认9092 port=9092 #监听地址,不设为所有地址 host.name=debugo01 # 处理网络请求的最大线程数 num.network.threads=2 # 处理磁盘I/O的线程数 num.io.threads=8 # 一些后台线程数 background.thr原创 2017-12-15 09:17:13 · 944 阅读 · 0 评论 -
kafka系列-kafka常用操作
假设现在kafka有3个节点 master60:2181,node61:2181,node62:2181 cd $kafkaPath 列出kafka所有的topic ./bin/kafka-topics.sh --zookeeper master60:2181,node61:2181,node62:2181 -list 查看kafka某一topic的描述 ./bin/k原创 2017-12-15 09:49:27 · 1009 阅读 · 0 评论 -
kafka系列-kafka调优篇-高并发高吞吐架构设计
kafka的PageCache读写 不同于Redis和MemcacheQ等内存消息队列,Kafka的设计是把所有的Message都要写入速度低容量大的硬盘,以此来换取更强的存储能力。实际上,Kafka使用硬盘并没有带来过多的性能损失(这一点是有条件限制的,这个条件是,消费者的消费速度要高于或等于生产者的速度)。 kafka重度依赖底层操作系统提供的PageCache功能。(文件缓存,速原创 2017-12-15 16:33:20 · 7806 阅读 · 0 评论 -
kafka系列-kafka多分区的情况下保证数据的有序性
场景 mysql的数据-->通过canal-->发送到kafka-->mysql、hive 在做canal集成kafka的时候,发现一个问题,多分区的情况下,跨分区的数据消费是无序的。 这时候就会出现问题,如果消费端消费的更新日志在插入日志之前,就会因为数据缺失导致异常(这样的情况随着并发出现的概率会增大),所以,需要保证新增的日志和更新的日志是有序的被消费。 kafka发送数据是支持指定分原创 2018-01-12 16:02:51 · 18478 阅读 · 2 评论