Kafka/Rabbit/Zero/Active
坦GA
积沙成塔
展开
-
解决RabbitMQ消息丢失与重复消费问题
原文地址:http://blog.csdn.net/yeweiouyang/article/details/74943278本文仅记录排查和问题定位、解决的过程。1. 背景最近用户反馈提交的SQL查询一直处于长时间等待状态,经过排查观察,发现部分查询请求丢失,导致用户提交的查询未被正常接收,继而长时间无响应。现象:集市SQL控制台提交10个简单SQL查询 -> 消息发送方:发送10条消息至消...转载 2018-03-14 10:21:29 · 10199 阅读 · 0 评论 -
RabbitMQ发布订阅消息
原文地址:http://www.rabbitmq.com/tutorials/tutorial-three-java.htmlPublish/Subscribe(using the Java Client)PrerequisitesThis tutorial assumes RabbitMQ is installed and running on loc翻译 2016-10-21 10:41:51 · 739 阅读 · 0 评论 -
RabbitMQ工作队列示例
原文地址:http://www.rabbitmq.com/tutorials/tutorial-two-java.htmlWork Queues(using the Java Client)PrerequisitesThis tutorial assumes RabbitMQ is installed and running on localhoston翻译 2016-10-21 09:42:18 · 942 阅读 · 0 评论 -
RabbitMQ发布订阅"Hello World"消息
原文地址:http://www.rabbitmq.com/tutorials/tutorial-one-java.html"Hello World"(using the Java Client)In this part of the tutorial we'll write two programs in Java; a producer that sends a si翻译 2016-10-20 17:59:37 · 632 阅读 · 0 评论 -
Kafka配置部分
原文地址:http://kafka.apache.org/6.3 Kafka ConfigurationImportant Client ConfigurationsThe most important producer configurations controlcompressionsync vs async productionbatch size (for asyn翻译 2016-10-20 13:55:27 · 609 阅读 · 0 评论 -
Kafka分布式流平台的理解
原文地址:http://kafka.apache.org/introKafka is a distributed streaming platform. What exactly does that mean?We think of a streaming platform as having three key capabilities:It let's you publ翻译 2016-10-20 13:40:23 · 905 阅读 · 0 评论 -
Kafka常见运维命令
原文地址:http://blog.csdn.net/huanggang028/article/details/49617605列出所有topic:bin/kafka-topics.sh --zookeeper localhost:2181 --list说明:其实就是去检查zk上节点的/brokers/topics子节点,打印出来创建topic:bin/kafka转载 2016-10-07 13:17:40 · 3071 阅读 · 0 评论 -
Kafka维护问题总结
原文地址:https://my.oschina.net/u/1169607/blog/3537301 Kafka操作日志的清理方法Kafka0.8版本长时间运行过程中,在kafka_2.8.0-0.8.0/logs目录下产生了大量的kafka-request.log.*和server.log.*文件,其中*代表日期和时间,比如kafka-request.log.2014-12-08转载 2016-10-07 12:53:09 · 2013 阅读 · 0 评论 -
Kafka常见命令
原文地址:http://blog.csdn.net/xiaolang85/article/details/22194571基于0.8.0版本。##查看topic分布情况kafka-list-topic.shbin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 (列出所有to转载 2016-10-07 12:45:15 · 628 阅读 · 0 评论 -
ActiveMQ5.6.0中ActiveMQConnection类源码介绍
ActiveMQConnection类源码,删掉了部分属性的get、set方法public class ActiveMQConnection implements Connection, TopicConnection, QueueConnection, StatsCapable, Closeable, StreamConnection, TransportListener, Enhan原创 2016-11-14 09:02:59 · 814 阅读 · 0 评论 -
Kafka中gradle.properties源码
Kafka中gradle.properties源码# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work for additional inf原创 2016-11-26 11:15:03 · 824 阅读 · 0 评论 -
Kafka源码中clients的目录结构
Kafka源码中clients的目录结构原创 2016-11-26 11:18:36 · 748 阅读 · 0 评论 -
大型网站架构之分布式消息队列
原文地址:http://blog.csdn.net/shaobingj126/article/details/50585035大型网站架构之分布式消息队列 以下是消息队列以下的大纲,本文主要介绍消息队列概述,消息队列应用场景和消息中间件示例(电商,日志系统)。本次分享大纲消息队列概述消息队列应用场景消息中间件示例JMS消息服务常用消息队列参考(推荐)资料本次分享总结一、消息队列概述消息队列中间件是...转载 2018-03-09 10:17:20 · 320 阅读 · 0 评论 -
一个简单的JMS实例(使用ActiveMQ)
原文地址:http://blog.csdn.net/robinjwong/article/details/38820259选择ActiveMQ。建立一个简单的Maven工程,pom.xml如下:[html] view plain copy<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.or...转载 2018-03-07 14:39:22 · 267 阅读 · 0 评论 -
一次rabbitmq引起的系统雪崩
原文地址:http://blog.csdn.net/u012998254/article/details/72859206上个月,给app提供的app不能访问了,惊呆了,突然间不能访问了.上去看日志没有报错,机器load,内存,cpu都正常,日志也没有报错,真是遇见鬼了.最后发现是rabbitmq引起的.项目的系统结构项目是布的微服务,使用了dubbo做的rpc,使用的转载 2018-01-31 21:07:38 · 1424 阅读 · 0 评论 -
Kafka web console安装
原文地址:http://www.cnblogs.com/yxwkf/p/5092589.html貌似非常多小伙伴都不能成功打包,共享下之前打包的文件:http://pan.baidu.com/s/1sjkE37J========kafka自己竟然没有还一个Web管理界面。。这里有个第三方的: https://github.com/转载 2017-08-22 15:47:30 · 1743 阅读 · 0 评论 -
如何选择合适的开源消息中间件
原文地址:http://www.cnblogs.com/zeeman/p/4527138.html我们要引入消息中间件,势必要考虑成本收益问题,怎样达到最高的性价比。很多公司的研发团队还没有专门的资源投入到基础设施的研发中,使用开源产品,扬长避短无疑是最好的方式。业界消息中间件的种类繁多,各有侧重点,看着网上的一些选型推荐,你会觉得无所适从。但我可以告诉你的是,能用的真的不多:)。转载 2017-07-08 10:47:21 · 399 阅读 · 0 评论 -
Kafka部署和使用
原文地址:http://kafka.apache.org/documentation.html#quickstart_consume1.3 Quick StartThis tutorial assumes you are starting fresh and have no existing Kafka or ZooKeeper data. Since Kafka console翻译 2017-07-10 12:52:18 · 1065 阅读 · 0 评论 -
有多个broker的例子
原文地址:http://blog.csdn.net/shangboerds/article/details/38944743-- Start1. 启动 ZooKeeper首先还是启动 ZooKeeper。[plain] view plain copy print?set KAFKA_HOME=C:/dev/kafk转载 2017-04-08 11:11:28 · 1308 阅读 · 0 评论 -
Kafka中ConsumerConfig源码介绍
Kafka中ConsumerConfig源码public class ConsumerConfig extends AbstractConfig { private static final ConfigDef config; public static final String GROUP_ID_CONFIG = "group.id"; public static f原创 2016-11-09 09:15:02 · 4062 阅读 · 3 评论 -
Kafka中Consumer类源码介绍
Kafka中Consumer源码public interface Consumer extends Closeable { void subscribe(String... var1); void subscribe(TopicPartition... var1); void unsubscribe(String... var1); void unsubs原创 2016-11-09 08:37:25 · 682 阅读 · 0 评论 -
Kafka使用方法
本文内容来自:http://kafka.apache.org/documentation.html#quickstart1.3 Quick StartThis tutorial assumes you are starting fresh and have no existing Kafka or ZooKeeper data.Step 1: Download the code翻译 2016-10-01 18:47:32 · 1819 阅读 · 0 评论 -
Kafka官网介绍
本文内容来自:http://kafka.apache.org/documentation.html#quickstart1.1 IntroductionKafka is a distributed, partitioned, replicated commit log service. It provides the functionality of a messaging system,翻译 2016-09-20 18:54:09 · 1223 阅读 · 0 评论 -
Kafka使用Java客户端进行访问
原文地址:http://blog.csdn.net/lnho2015/article/details/51353936本文环境如下: 操作系统:CentOS 6 32位 JDK版本:1.8.0_77 32位 Kafka版本:0.9.0.1(Scala 2.11)1. maven依赖包dependency> groupId>org.apache转载 2016-10-10 10:09:56 · 6353 阅读 · 0 评论 -
Kafka深度解析
背景介绍Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区,及分布式消费,同时保证每个partition内的消息顺序传输同时支持离线转载 2016-08-11 21:18:43 · 2204 阅读 · 0 评论 -
Kafka分布式消息队列框架
是什么 简单的说,Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue) 目标Scope(解决什么问题)kafka开发的主要初衷目标是构建一转载 2016-08-31 11:41:50 · 534 阅读 · 0 评论 -
Kafka中QueueFullException异常
原文地址:https://cwiki.apache.org/confluence/display/KAFKA/FAQ#FAQ-HowshouldIsetmetadata.broker.list?Why do I get QueueFullException in my producer when running in async mode?This typically ha翻译 2016-09-23 18:15:25 · 4874 阅读 · 0 评论 -
Kafka简单介绍
本文内容来自Kafka官网:http://kafka.apache.org,翻译不好请见谅,欢迎批评指正。简介Apache Kafka作为一个分布式提交日志,是基于发布订阅消息的过程中产生的成果。性质快速(fast)在成千上万的客户请求读写数据时,单一的Kafka代理可以处理每秒成百上千MB(megabytes)数据。可扩展的(scalable)Kafka被设计为允许单翻译 2016-09-19 18:54:32 · 452 阅读 · 0 评论 -
ActiveMQ简单的HelloWorld实例
JMS的两种消息模型:点对点和发布订阅模型,以及消息被消费的两个方式:同步和异步。原文地址:http://blog.csdn.net/jiuqiyuliang/article/details/48608237这篇博文,我们使用ActiveMQ为大家实现一种点对点的消息模型。开发环境我们使用的是ActiveMQ 5.11.1 Release的Windows版,官网最新版是转载 2016-09-05 12:50:17 · 380 阅读 · 0 评论 -
ActiveMQ的简单介绍与安装
现实的企业中,对于消息通信的应用一直都非常的火热,而且在J2EE的企业应用中扮演着特殊的角色,所以对于它研究是非常有必要的。上篇博文深入浅出JMS(一)–JMS基本概念,我们介绍了消息通信的规范JMS,我们这篇博文介绍一款开源的JMS具体实现——ActiveMQ。ActiveMQ是一个易于使用的消息中间件。消息中间件我们简单的介绍一下消息中间件,对它有一个基本认识就好,消息中间转载 2016-09-05 11:51:52 · 379 阅读 · 0 评论 -
RabbitMQ路由Routing
原文地址:http://www.rabbitmq.com/documentation.htmlRouting(using the Java client)PrerequisitesThis tutorial assumes RabbitMQ is installed and running on localhoston standard port (翻译 2016-10-21 11:51:20 · 454 阅读 · 0 评论 -
Spring和ActiveMQ整合的完整例子
原文地址:http://blog.csdn.net/jiuqiyuliang/article/details/48758203JMS的两种消息模型:点对点和发布订阅模型,以及消息被消费的两个方式:同步和异步。前言这篇博文,我们基于Spring+JMS+ActiveMQ+Tomcat,做一个Spring4.1.0和ActiveMQ5.11.1整合实例,实现了Point-T转载 2016-10-21 17:39:08 · 3498 阅读 · 0 评论 -
Rabbit基本概念详细介绍
转至:http://www.ostest.cn/archives/497引言你是否遇到过两个(多个)系统间需要通过定时任务来同步某些数据?你是否在为异构系统的不同进程间相互调用、通讯的问题而苦恼、挣扎?如果是,那么恭喜你,消息服务让你可以很轻松地解决这些问题。消息服务擅长于解决多系统、异构系统间的数据交换(消息通知/通讯)问题,你也可以把它用于系统间服务的相互调用(RPC)。本文将要介转载 2016-10-11 22:53:55 · 17105 阅读 · 0 评论 -
ActiveMQ有多快
原文地址:http://activemq.apache.org/how-fast-is-activemq.htmlHow fast is ActiveMQ?It all depends on the configuration, the operating system, hardware, JVM, JVM configuration and what y翻译 2016-10-26 18:14:23 · 560 阅读 · 0 评论 -
ActiveMQ的启动和配置介绍
原文地址:http://activemq.apache.org/version-5-getting-started.htmlStarting ActiveMQ with a different configuration fileBy default ActiveMQ uses the conf/activemq.xml as the main configuration翻译 2016-10-26 18:01:03 · 1494 阅读 · 0 评论 -
ActiveMQ的监控和停止
原文地址:http://activemq.apache.org/version-5-getting-started.html#Version5GettingStarted-MonitoringActiveMQMonitoring ActiveMQYou can monitor ActiveMQ using the Web Console by pointing your b翻译 2016-10-26 17:46:41 · 4011 阅读 · 0 评论 -
Kafka分区介绍
原文地址:http://www.cnblogs.com/dt-zhw/p/5631060.htmlKafka中分区深度解析今天主要谈Kafka中的分区数和consumer中的并行度。从使用Kafka的角度说,这些都是至关重要的。分区原则Partition代表一个topic的分区,可以看到在构造时注册了zookeeper,也就是说kafka在分区时,是被zk管转载 2016-09-29 19:58:48 · 2964 阅读 · 0 评论 -
Kafka的topic限制是多少
原文地址:https://cwiki.apache.org/confluence/display/KAFKA/FAQ#FAQ-HowdoesKafkadependonZookeeper?How many topics can I have?Unlike many messaging systems Kafka topics are meant to scale up arbit翻译 2016-09-28 18:19:12 · 19032 阅读 · 0 评论 -
Kafka怎么和Zookeeper配合使用
原文地址:https://cwiki.apache.org/confluence/display/KAFKA/FAQHow does Kafka depend on Zookeeper?Starting from 0.9, we are removing all the Zookeeper dependency from the clients (for details o翻译 2016-09-28 17:23:43 · 2972 阅读 · 0 评论 -
JMS(Java Message Service)的基本概念
摘要:The Java Message Service (JMS) API is a messaging standard that allows application components based on the Java Platform Enterprise Edition (Java EE) to create, send, receive, and read messages. It转载 2016-09-04 21:41:07 · 544 阅读 · 0 评论