![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
消息队列MQ
文章平均质量分 80
golden_lion
这个作者很懒,什么都没留下…
展开
-
【消息队列MQ】各类MQ比较
目前业界有很多MQ产品,我们作如下对比:RabbitMQ是使用Erlang编写的一个开源的消息队列,本身支持很多的协议:AMQP,XMPP, SMTP, STOMP,也正是如此,使的它变的非常重量级,更适合于企业级的开发。同时实现了一个经纪人(Broker)构架,这意味着消息在发送给客户端时先在中心队列排队。对路由(Routing),负载均衡(Load balance)或者数据持久转载 2016-03-29 15:29:21 · 833 阅读 · 1 评论 -
漫游Kafka之过期数据清理
Kafka将数据持久化到了硬盘上,允许你配置一定的策略对数据清理,清理的策略有两个,删除和压缩。数据清理的方式删除log.cleanup.policy=delete启用删除策略直接删除,删除后的消息不可恢复。可配置以下两个策略:清理超过指定时间清理: log.retention.hours=16超过指定大小后,删除旧的消息:log.retention.byte转载 2016-06-21 08:13:40 · 2267 阅读 · 0 评论 -
漫游Kafka实现篇之消息和日志
原文地址:http://blog.csdn.net/honglei915/article/details/37760631Kafka视频教程同步首发,欢迎观看!消息格式日志一个叫做“my_topic”且有两个分区的的topic,它的日志有两个文件夹组成,my_topic_0和my_topic_1,每个文件夹里放着具体的数据文件,每个数据文件都是一转载 2016-06-21 08:12:04 · 957 阅读 · 0 评论 -
漫游Kafka实战篇之客户端编程实例
原文地址:http://blog.csdn.net/honglei915/article/details/37697655Kafka视频教程同步首发,欢迎观看!Kafka Producer APIs新版的Producer API提供了以下功能:可以将多个消息缓存到本地队列里,然后异步的批量发送到broker,可以通过参数produce转载 2016-06-21 08:11:28 · 981 阅读 · 1 评论 -
漫游Kafka设计篇之主从同步
原文地址:http://blog.csdn.net/honglei915/article/details/37565289Kafka视频教程同步首发,欢迎观看!Kafka允许topic的分区拥有若干副本,这个数量是可以配置的,你可以为每个topci配置副本的数量。Kafka会自动在每个个副本上备份数据,所以当一个节点down掉时数据依然是可用的。转载 2016-06-21 08:10:27 · 426 阅读 · 0 评论 -
漫游Kafka设计篇之Producer和Consumer
原文地址:http://blog.csdn.net/honglei915/article/details/37564871Kafka视频教程同步首发,欢迎观看!Kafka Producer消息发送producer直接将数据发送到broker的leader(主节点),不需要在多个节点进行分发。为了帮助producer做到这点,所有的Ka转载 2016-06-21 08:09:57 · 776 阅读 · 0 评论 -
漫游Kafka设计篇之性能优化
原文地址:http://blog.csdn.net/honglei915/article/details/37564757Kafka视频教程同步首发,欢迎观看!Kafka在提高效率方面做了很大努力。Kafka的一个主要使用场景是处理网站活动日志,吞吐量是非常大的,每个页面都会产生好多次写操作。读方面,假设每个消息只被消费一次,读的量的也是很大的,Kafk转载 2016-06-21 08:09:23 · 360 阅读 · 0 评论 -
漫游Kafka设计篇之消息传输的事务定义
版权声明:本文为博主原创文章,未经博主允许不得转载。原文地址:http://blog.csdn.net/honglei915/article/details/37565119之前讨论了consumer和producer是怎么工作的,现在来讨论一下数据传输方面。数据传输的事务定义通常有以下三种级别:最多一次: 消息不会被重复发送,最多被传输一次,但也有可能转载 2016-06-21 08:08:48 · 427 阅读 · 0 评论 -
漫游Kafka设计篇之数据持久化
版权声明:本文为博主原创文章,未经博主允许不得转载。转载注明出处:http://blog.csdn.net/honglei915/article/details/37564595Kafka视频教程同步首发,欢迎观看!不要畏惧文件系统!Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢,这使很多人怀疑基转载 2016-06-21 08:08:13 · 430 阅读 · 0 评论 -
漫游Kafka实战篇之搭建Kafka运行环境
原文地址:http://blog.csdn.net/honglei915/article/details/37564329Kafka视频教程同步首发,欢迎观看!接下来一步一步搭建Kafka运行环境。 Step 1: 下载Kafka点击下载最新的版本并解压.> tar -xzf kafka_2.9.2-0.8.1.1.tgz> cd kafka_2.9.2-转载 2016-06-21 08:07:02 · 676 阅读 · 0 评论 -
漫游Kafka入门篇之简单介绍
原文地址:http://blog.csdn.net/honglei915/article/details/37564521Kafka视频教程同步首发,欢迎观看!介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢?首先让我们看几个基本的消息系统术语:转载 2016-06-21 08:06:24 · 331 阅读 · 0 评论 -
漫游kafka实战篇之搭建Kafka开发环境
版权声明:本文为博主原创文章,未经博主允许不得转载。转载注明出处:http://blog.csdn.net/honglei915/article/details/37563647Kafka视频教程同步首发,欢迎观看!上篇文章中我们搭建了kafka的服务器,并可以使用Kafka的命令行工具创建topic,发送和接收消息。下面我们来搭建kafka的开转载 2016-06-21 08:05:26 · 879 阅读 · 0 评论 -
kafka集群搭建和使用Java写kafka生产者消费者
1 kafka集群搭建 Java代码 1.zookeeper集群 搭建在110, 111,112 2.kafka使用3个节点110, 111,112 修改配置文件config/server.properties broker.id=110 host.name=192.168.1.110 log.dirs=/usr/loc转载 2016-06-21 08:04:08 · 609 阅读 · 0 评论 -
Kafka在LinkedIn公司的应用场景、现状与未来
Apache Kafka是分布式发布-订阅消息系统,它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式,分区化,可复制的提交日志服务。LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和,那么作为一个可扩展、高可靠的消息系统,它在LinkedIn公司内部都有哪些应用场景、其生态系统是什么样的、未来又会向哪些方面发展呢?最近,LinkedIn的工程转载 2016-05-20 17:36:10 · 1137 阅读 · 0 评论 -
到底什么是消息队列?Java中如何实现消息队列?
网上查了一些资料,感觉都是概念性的很空泛的东西,可是不知道到底是什么东西,如何在Java中实现并使用……在此请教各位前辈到底什么是消息队列?Java中如何实现消息队列?来个个人通俗的解释吧。消息队列,顾名思义 首先是个队列。队列的操作有入队和出队也就是你有一个程序在产生内容然后入队(生产者)另一个程序读取内容,内容出队(消费者)这是最最基本的概念。转载 2016-03-29 15:52:00 · 17421 阅读 · 1 评论 -
深入浅出 消息队列 ActiveMQ
一、 概述与介绍ActiveMQ 是Apache出品,最流行的、功能强大的即时通讯和集成模式的开源服务器。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现。提供客户端支持跨语言和协议,带有易于在充分支持JMS 1.1和1.4使用J2EE企业集成模式和许多先进的功能。二、 特性1、 多种语言和协议编写客户端转载 2016-03-29 15:48:33 · 779 阅读 · 0 评论 -
消息队列MQ技术的介绍和原理
消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走。通过消息队列,应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。 消息中间件概述消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走。通过消息队列,应用程序可独立转载 2016-03-29 15:46:53 · 1095 阅读 · 0 评论 -
【消息队列MQ】【Kafka&Jafka】
Why we built this Kafka是一个分布式消息队列系统(MQ),起初是LinkedIn为其实时事件流和队列式连续数据处理做的基础服务。现如今已被广泛地应用于很多公司的数据消息队列处理。 事件流(Activitystream)就是站点上对各种行为的日常报告,就比如为用户展现了什么,他搜索了什么等等。这些信息一般会被日志系统所处理,然后周转载 2016-03-29 15:41:23 · 890 阅读 · 0 评论 -
漫游Kafka实现篇之分布式
原文地址:http://blog.csdn.net/honglei915/article/details/37932819Zookeeper节点标记当路径中的元素包括在方括号里比如[xyz],则表示xyz表示的值是不固定的,每个可能的值都有一个Zookeeper节点。比如/topics/[topic]表示每个topic名称对应/topics的一个子目录。也可以用类似[0...5]表示一转载 2016-06-21 08:13:53 · 407 阅读 · 0 评论