Kafka/MQ
GarfieldEr007
这个作者很懒,什么都没留下…
展开
-
Kafka【入门】就这一篇!
一、Kafka 简介Kafka 创建背景Kafka是一个消息系统,原本开发自 LinkedIn,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量(P...转载 2019-10-26 21:47:10 · 677 阅读 · 0 评论 -
RabbitMQ指南(中)
原文出处: Listen在上一篇文章中,介绍了使用RabbitMQ的Hello World例子, 以及如何创建一个work queue。在work queue的例子中每条消息都只会被传递到一个work queue中。 在这篇文章中我们将会学习另一种完全不同的传递消息的方式——每条消息将会被传递给所有的consumer,这种模式一般被称为“发布/订阅”。发布/订阅(Publish转载 2017-08-21 22:58:16 · 814 阅读 · 0 评论 -
RabbitMQ指南(下)
原文出处: Listen在上一小节中我们改进了log系统,由于使用fanout类型的exchange只能进行全局的广播,因此我们使用direct类型的exchange做了代替, 使得我们可以选择性的接收消息。尽管使用fanout exchange改进了log系统,但它仍然有限制——不能基于多个条件做路由。Topics在log系统中可能不只是基于不同的日志级别作订阅,也可转载 2017-08-21 22:59:06 · 833 阅读 · 0 评论 -
消息中间件收录集
原文出处: 朱小厮的博客本篇主要整理工作中遇到的一些消息中间件的相关知识,包括Kafka、RabbitMQ、RocketMQ、ActiveMQ等,不排除收录其他消息中间件的可能。这里会持续收录相关知识,包括安装、部署、使用示例、监控、运维、原理等。所有新撰写的与中间件有关的文章都会收录与此,注意保存本文链接。Last Update Time: 2017-04-17 19转载 2017-08-21 22:59:48 · 908 阅读 · 0 评论 -
消息队列MQ技术介绍
一、 消息队列概述消息队列中间件是分布式系统中重要的组件,主要解决应用耦合、异步消息、流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境,使用较多的消息队列有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ等。二、 消息队列应用场景下面详细介绍一下消息队列在实际应用中常用的使用场景转载 2017-08-22 23:09:01 · 1359 阅读 · 0 评论 -
RabbitMQ Tutorials简介
RabbitMQ TutorialsThese tutorials cover the basics of creating messaging applications using RabbitMQ. You need to have the RabbitMQ server installed to go through the tutorials, please see the ins转载 2017-08-22 23:09:51 · 1048 阅读 · 0 评论 -
分布式开放消息系统(RocketMQ)的原理与实践
分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件,需要具有高吞吐量、高可用等特点。而谈到消息系统的设计,就回避不了两个问题:消息的顺序问题消息的重复问题RocketMQ作为阿里开源的一款高性能、高吞吐量的消息中间件,它是怎样来解决这两个问题的?RocketMQ 有哪些关键特性?其实现原理是怎样的?关键特性以及其实现原理一、顺序消息消息有序指的是可以按照消息转载 2017-08-27 21:12:39 · 1113 阅读 · 0 评论 -
分布式消息系统:Kafka
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中,常常会碰到一个问题,整个大数据是由各个子系统组成,数据需要在各个子系统中高性能,低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用(消转载 2017-08-29 23:14:07 · 1062 阅读 · 0 评论 -
RabbitMQ系统3.5.3版本中文完全注释 学习
https://github.com/sky-big/RabbitMQ原创 2018-12-26 19:20:32 · 786 阅读 · 0 评论 -
RabbitMQ指南(上)
原文出处: ListenRabbitMQ是一个消息中间件,在一些需要异步处理、发布/订阅等场景的时候,使用RabbitMQ可以完成我们的需求。 下面是我在学习RabbitMQ的过程中的一些记录,内容主要翻译自RabbitMQ官网的Tutorials, 再加上我的一些个人理解。我将会用三篇文章来从RabbitMQ的Hello World介绍起,到最后的通过RabbitMQ实现RPC调用,转载 2017-08-21 22:57:19 · 835 阅读 · 0 评论 -
Kafka 指南
提到消息系统,目前最火热的非 Kafka 莫属,公司也打算利用 Kafka 进行各业务日志统一收集,这里结合自己的实践来分享一下具体的配置及使用。Kafka 版本 0.10.0.1更新记录2016.08.15: 初稿介绍作为云计算大数据的套件,Kafka 是一个分布式的、可分区的、可复制的消息系统。该有的功能基本都有,而且有自己的特色:以 topic转载 2017-03-31 22:52:17 · 1139 阅读 · 0 评论 -
Apache Kafka:下一代分布式消息系统
简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比,有以下不同:它被设计为一个分布式系统,易于向外扩展;它同时为发布和订阅提供高吞吐量;它支持多订阅者,当失败时能自转载 2017-03-31 22:45:30 · 1051 阅读 · 0 评论 -
Apache kafka 工作原理介绍
消息队列消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列,应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中,为了集成分布式应用,开发者需要对异构网络环境下的分布式应用提供有效的通信手段。为了管理需要共享的信息,对应用提供公共的信息交换机制是重要的。常转载 2017-03-31 22:46:16 · 1344 阅读 · 0 评论 -
Kafka快速入门
编译自官方文档Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log),,之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的分区特性,可复制和可容错都是其不错的特性。Apache Kafka与传统消息系统相比,有以下不同:转载 2017-03-31 22:47:12 · 1139 阅读 · 0 评论 -
Kafka深度解析
原创文章,转载请务必将下面这段话置于文章开头处(保留超链接)。本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/01/02/Kafka深度解析背景介绍Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也转载 2017-03-31 22:48:07 · 1009 阅读 · 0 评论 -
kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
问题导读:1.zookeeper在kafka的作用是什么?2.kafka中几乎不允许对消息进行“随机读写”的原因是什么?3.kafka集群consumer和producer状态信息是如何保存的?4.partitions设计的目的的根本原因是什么?一、入门 1、简介 Kafka is a distributed,partitioned,转载 2017-03-31 22:49:49 · 1019 阅读 · 0 评论 -
Kafka文件存储机制那些事
Kafka是什么Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。1.前言一个商业化消息队列的性能好坏,其文件存储机制设计是衡量一个转载 2017-03-31 22:50:26 · 903 阅读 · 0 评论 -
Kafka 设计与原理详解
一、Kafka简介本文综合了我之前写的kafka相关文章,可作为一个全面了解学习kafka的培训学习资料。转载请注明出处 : 本文链接1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战:如何收集这些巨大的信息如何分析它如何及时做到如上两点以上几个挑战形成了一个业务需求模转载 2017-03-31 22:51:00 · 1065 阅读 · 0 评论 -
kafka中文教程
本网翻译整理Apache kafka,提供整理Apache kafka的完整学习文档。发布 & 订阅 处理 存储数据流,如消息传递系统 高效并实时 数据流安全地在分布式集群中复制存储转载 2017-03-31 22:51:40 · 1716 阅读 · 0 评论 -
Kafka剖析(一):Kafka背景及架构介绍
Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展,“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。背景介绍Kafka创建转载 2017-03-31 22:44:41 · 1403 阅读 · 0 评论