![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
mq
江上渔者21号
这个作者很懒,什么都没留下…
展开
-
消息队列及常见消息队列介绍
一、消息队列(MQ)概述消息队列(Message Queue),是分布式系统中重要的组件,其通用的使用场景可以简单地描述为:当不需要立即获得结果,但是并发量又需要进行控制的时候,差不多就是需要使用消息队列的时候。消息队列主要解决了应用耦合、异步处理、流量削锋等问题。当前使用较多的消息队列有RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaM...转载 2018-01-29 10:00:42 · 775 阅读 · 0 评论 -
kafka 技术性能分析
1.通过磁盘顺序读写,效率高,appendLog,对比raid-5 7200rpm的磁盘sequence io 600M/srandom io 100kb/skafka写操作时,依赖底层文件系统的pagecache功能,pagecache会将尽量多的将空闲内存,当做磁盘缓存,写操作先写到pageCache,并将该page标记为dirty;发生读操作时,会先从pageCache中查找,当...转载 2019-03-17 19:16:51 · 363 阅读 · 0 评论 -
zookeeper 和 kafka 常用的命令
zookeeper 常用的命令 连接登陆到zookeeper bin/zkCli.sh -server localhost:2181此时,输入“help”可以查看命令参数: 2.“ls path”用于查看路径path下的所有直接子节点: 3. create path data”用于在path路径下创建一个新节点,携带数据data。 例如...原创 2018-09-23 12:58:48 · 958 阅读 · 0 评论 -
kafka 生成消息的过程
从源码分析如何优雅的使用 Kafka 生产者 前言在上文 设计一个百万级的消息推送系统 中提到消息流转采用的是 Kafka 作为中间件。其中有朋友咨询在大量消息的情况下 Kakfa 是如何保证消息的高效及一致性呢?正好以这个问题结合 Kakfa 的源码讨论下如何正确、高效的发送消息。内容较多,对源码感兴趣的朋友请系好安全带转载 2019-01-15 08:38:16 · 822 阅读 · 0 评论 -
Kafka 安装及快速入门
介绍官网:http://kafka.apache.org/Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比,有以下不同:它被设计为一个分布式系统,易于向外扩展; 它同时为发布和订阅提供...转载 2018-09-15 10:44:35 · 376 阅读 · 0 评论 -
kafka 中的名词解释
kafka名词解释和工作方式:Producer :消息生产者,就是向kafka broker发消息的客户端。Consumer :消息消费者,向kafka broker取消息的客户端Topic :咋们可以理解为一个队列。Consumer Group (CG):若干个Consumer组成的集合。这是kafka用来实现一个topic消息的广播(发给所有的consumer)和单播(发给任意一个consum...原创 2018-06-12 17:57:32 · 1727 阅读 · 2 评论 -
什么是消息队列
生产者:消息生产者消费者:消息消费者主题: 一个主题代表一种消息类型,所有生产者发送消息到主题队列消费组:主题下创建消费组,该消费组下的所有消费者消费该主题队列的所有消息1对1:一个主题对应一个消费组,该消费组下的所有消费者消费该主题的所有消息1对多:一个主题对应多个消费组,每个消费组的所有消费者共同消费该主题的所有消息...原创 2018-06-12 17:55:17 · 178 阅读 · 0 评论 -
Kafka,Mq,Redis作为消息队列使用时的差异?
redis 消息推送(基于分布式 pub/sub)多用于实时性较高的消息推送,并不保证可靠。其他的mq和kafka保证可靠但有一些延迟(非实时系统没有保证延迟)。redis-pub/sub断电就清空,而使用redis-list作为消息推送虽然有持久化,但是又太弱智,也并非完全可靠不会丢。另外一点,redis 发布订阅除了表示不同的 topic 外,并不支持分组,比如kafka中发布一个东西原创 2018-01-29 11:44:42 · 849 阅读 · 0 评论 -
Kafka入门三:几种消费方式
1.消费位移确认Kafka消费者消费位移确认有自动提交与手动提交两种策略。在创建KafkaConsumer对象时,通过参数enable.auto.commit设定,true表示自动提交(默认)。自动提交策略由消费者协调器(ConsumerCoordinator)每隔${auto.commit.interval.ms}毫秒执行一次偏移量的提交。手动提交需要由客户端自己控制偏移量的提交。...转载 2019-03-25 18:03:16 · 1314 阅读 · 0 评论