JAVA消息处理
NullPointerExcept
这个作者很懒,什么都没留下…
展开
-
ActiveMQ技术笔记(一)
ActiveMQ 是Apache出品,最流行的,能力强劲的开源消息中间件。ActiveMQ 的安装在此不做介绍,大家可以自行百度。ActiveMQ安装后,启动可以通过Web页面访问,URL:http://127.0.0.1:8161/,如图所示:点击“Queues | Topics ”可以查询消息数量。ActiveMQ默认使用的TCP连接端口是61616.ActiveMQ的原创 2016-05-23 18:17:23 · 36181 阅读 · 0 评论 -
Apache RocketMQ4.0.0
阿里rocketmq,有广泛的应用场景,订单,交易,充值,流计算,消息推送,日志流式处理,binglog分发等多个业务领域。已正式成为apache项目,也于年前刚发布4.0.0版本,本文初试服务端和客户端 1 服务端安装1.0 安装准备CentOS release 6.8 (Final)64bit OS, Linux/Unix/Mac is recommended;64转载 2017-04-17 15:33:51 · 2544 阅读 · 0 评论 -
基于HTTP协议的轻量级开源简单队列服务:HTTPSQS
HTTPSQS(HTTP Simple Queue Service)是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务,使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。 项目网址:http://code.google.com/p/httpsqs/ 使用文档:http://blog.zyan.cc/httpsq转载 2017-05-09 09:28:47 · 705 阅读 · 0 评论 -
消息中间件RocketMQ的安装与部署
官方简介:RocketMQ是一款分布式、队列模型的消息中间件,具有以下特点:能够保证严格的消息顺序提供丰富的消息拉取模式高效的订阅者水平扩展能力实时的消息订阅机制亿级消息堆积能力1.安装RocketMQ1.1 安装环境git,Java,Maven 安装git转载 2017-04-27 17:49:19 · 836 阅读 · 0 评论 -
分布式消息队列RocketMQ部署与监控
一、RocketMQ简介==========================================================================================RocketMQ是一款分布式、队列模型的消息中间件,具有以下特点:1、支持严格的消息顺序;2、支持Topic与Queue两种模式;3、亿级消息堆积能力;转载 2017-04-27 17:50:08 · 433 阅读 · 0 评论 -
RocketMQ与Kafka对比(18项差异)
淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用MySQL作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之后,Kafka无限消息堆积,高效的持久化速度吸引了我们,但是同时发现这个消息系统主要定位于日志传输,对于使用在淘宝交易、订单转载 2017-04-27 17:52:13 · 1730 阅读 · 0 评论 -
RocketMQ实战(一)
阿里巴巴有2大核心的分布式技术,一个是OceanBase,另一个就是RocketMQ。在实际项目中已经领教过RocketMQ的强大,本人计划写一个RocketMQ实战系列,将涵盖RocketMQ的简介,环境搭建,初步使用、API详解、架构分析、管理员集群操作等知识。What is RocketMQ?RocketMQ作为一款分布式的消息中间件(阿里的说法是不遵循任何规范的,所以不能完转载 2017-05-19 09:32:55 · 874 阅读 · 0 评论 -
RocketMQ实战(二)
在上一篇《RocketMQ实战(一)》中已经为大家初步介绍了下RocketMQ以及搭建了双Master环境,接下来继续为大家介绍!Quick Start写一个简单的生产者、消费者,带大家快速体验RocketMQ~Maven配置:pom.xml生产者:生产者代码消费者:消费者代码无转载 2017-05-19 09:33:46 · 491 阅读 · 0 评论 -
RocketMQ实战(三):分布式事务
接 《RocketMQ实战(一)》,《RocketMQ实战(二)》,本篇博客主要讨论的话题是:顺序消费、RMQ在分布式事务中的应用等。关于多Master多Slave的说明由于在之前的博客中已经搭建了双Master,其实多Master多Slave大同小异,因此这里并不会一步步的演示搭建多Master多Slave,而是从思路上,分析下重点应该注意的配置项。多Mast转载 2017-05-19 09:34:31 · 581 阅读 · 0 评论 -
RocketMQ实战(四)
前言这将是RocketMQ实战系列的最后一篇文章,该系列的文章列表如下:《RocketMQ实战(一)》《RocketMQ实战(二)》《RocketMQ实战(三):分布式事务》RocketMQ 3.2.6的事务机制在上一篇博客中,已经知道RocketMQ 3.0.8是支持事务回查机制,但是在RocketMQ 3.2.6中取消了这转载 2017-05-19 09:35:03 · 1472 阅读 · 0 评论 -
ActiveMQ从入门到精通(一)
这是关于消息中间件ActiveMQ的一个系列专题文章,将涵盖JMS、ActiveMQ的初步入门及API详细使用、两种经典的消息模式(PTP and Pub/Sub)、与Spring整合、ActiveMQ集群、监控与配置优化等。话不多说,我们来一起瞧一瞧!JMS首先来说较早以前,也就是没有JMS的那个时候,很多应用系统存在一些缺陷:1.通信的同步性client端发转载 2017-05-19 09:35:39 · 504 阅读 · 0 评论 -
ActiveMQ从入门到精通(二)
接上一篇《ActiveMQ从入门到精通(一)》,本篇主要讨论的话题是:消息的顺序消费、JMS Selectors、消息的同步/异步接受方式、Message、P2P/PubSub、持久化订阅、持久化消息到MySQL以及与Spring整合等知识。消息的顺序消费在上一篇文章中,我们已经明确知道了ActiveMQ并不能保证消费的顺序性,即便我们使用了消息优先级。而在实际开发中,有些场景又是转载 2017-05-19 09:36:11 · 408 阅读 · 0 评论 -
ActiveMQ从入门到精通(三)
这是ActiveMQ系列的最后一篇文章,主要是关于ActiveMQ集群,这里采用的方式是:Zookeeper+LevelDB+ActiveMQ。前面2篇博客地址如下:《ActiveMQ从入门到精通(一)》、《ActiveMQ从入门到精通(二)》。利用Zookeeper实现ActiveMQ的高可用话不多说,先来看一张ActiveMQ官方提供的架构图:Zookeeper转载 2017-05-19 09:36:37 · 2424 阅读 · 0 评论 -
AMQ 虚拟topic
业务场景:为了做到高可用性,topic的consumer服务通常是多台服务。如果用普通的Topic,则多个consumer的服务就会出现重复消费的情况。解决方案:AMQ引入了虚拟Topic,如果Topic的名字是以"VirtualTopic."开头,则AMQ自动将其识别为虚拟主题的Topic,如 VirtualTopic.NORMAL。 其对应的consumer则需要以转载 2017-05-19 10:58:44 · 794 阅读 · 0 评论 -
基于HTTP协议的轻量级开源简单队列服务:HTTPSQS
HTTPSQS(HTTP Simple Queue Service)是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务,使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。 项目网址:http://code.google.com/p/httpsqs/ 使用文档:http://blog.zyan.cc/httpsq转载 2017-05-31 17:50:35 · 407 阅读 · 0 评论 -
阿里RocketMQ Quick Start
RocketMQ单机支持1万以上的持久化队列,前提是足够的内存、硬盘空间,过期数据数据删除(RocketMQ中的消息队列长度不是无限的,只是足够大的内存+数据定时删除)RocketMQ版本:3.1.4 一,部署NameServer:1,安装JDK并设置JAVA_HOME环境变量(启动脚本依赖JAVA_HOME环境变量)2,cd /alibaba-rocketmq/bin进入Ro转载 2017-04-17 15:30:06 · 402 阅读 · 0 评论 -
分布式开放消息系统(RocketMQ)的原理与实践
分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件,需要具有高吞吐量、高可用等特点。而谈到消息系统的设计,就回避不了两个问题:消息的顺序问题消息的重复问题RocketMQ作为阿里开源的一款高性能、高吞吐量的消息中间件,它是怎样来解决这两个问题的?RocketMQ 有哪些关键特性?其实现原理是怎样的?关键特性以及其实现原理一、顺序消息消息有序指转载 2017-04-17 15:21:33 · 1598 阅读 · 0 评论 -
ActiveMQ之细嚼慢咽
今天好好的捋一下ActiveMQ的一些关键名称。1、ConnectionFactory 连接工厂接口主要方法,createConnection() 2、ActiveMQConnectionFactory 连接工厂实现了ConnectionFactory 接口public ActiveMQConnectionFactory(String userName, String passw原创 2016-05-24 10:13:08 · 813 阅读 · 0 评论 -
ActiveQM安装以及Spring配置
1、activemq安装 #tar -zxvf apache-activemq-5.8.0-bin.tar.gz #cd /usr/local/activemq/bin #chmod 755 activemq #./activemq start #启动 #./activemq start > log #启动,原创 2016-05-24 11:23:33 · 775 阅读 · 0 评论 -
Kafka入门经典教程
问题导读1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic、发送消息、消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有哪两个条件?6.producer是否直接将数据发送到broker的leader(主节点)?7.Kafa consumer是否可以消费指定分区消息?8.Kafka消息是转载 2016-10-09 14:46:09 · 457 阅读 · 0 评论 -
Flume NG 简介及配置实战
Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版本 0.94.0 中,日志传输转载 2016-11-17 16:51:38 · 442 阅读 · 0 评论 -
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章:1.一个好的项目架构应该具备什么特点?2.本项目架构是如何保证数据准确性的?3转载 2016-11-17 16:53:16 · 771 阅读 · 0 评论 -
ActiveMQ实现负载均衡+高可用部署方案
一、架构和技术介绍1、简介ActiveMQ 是Apache出品,最流行的,能力强劲的开源消息总线。完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现2、activemq的特性1. 多种语言和协议编写客户端。语言: Java, C, C++, C#, Ruby, Perl, Python, PHP。应用协议: OpenWire,Stomp转载 2016-11-17 17:02:44 · 308 阅读 · 0 评论 -
ActiveMQ简介
1. 什么是ActiveMQActiveMQ是一种开源的,实现了JMS1.1规范的,面向消息(MOM)的中间件,为应用程序提供高效的、可扩展的、稳定的和安全的企业级消息通信。ActiveMQ使用Apache提供的授权,任何人都可以对其实现代码进行修改。ActiveMQ的设计目标是提供标准的,面向消息的,能够跨越多语言和多系统的应用集成消息通信中间件。ActiveMQ实现了JMS标转载 2016-11-17 17:03:43 · 521 阅读 · 0 评论 -
58到家消息系统设计与开发实践
我今天的演讲主要包括三个部分:消息平台产生的背景,它的整体架构和系统重点,以及我们遇到并解决了哪些问题。 消息平台产生的背景消息平台产生的背景是基于58核心的业务——58速运,58速运的业务是做最便捷的同城的货运。之前一个速运系统出现问题时,GPS上报跟滴滴的业务比较相近,区别在于滴滴是运人,我们这边是运货。这时存在着一些问题,由于GPS上报比较频繁,系统压力比较大。此外,转载 2016-11-18 10:43:17 · 1146 阅读 · 2 评论 -
携程异步消息系统实践
消息队列的优势我们先回顾一下消息系统有哪些优势,为什么在企业里面会用这样的消息系统。MQ大家都会用到,像KAFKA等。企业里有很多的应用场景,比如实时的索引更新,或者是异步化的事情,使用MQ会发现这系统之间的耦合度降低了。MQ也是,它有什么特点?一个可能是可以做到异步的处理,这个处理时间可以很长,比如收完这个消息以后一小时再处理,非常灵活。还有就是可以抵御流量波峰。就算量很大,可以把这些量转载 2016-11-18 11:02:54 · 652 阅读 · 0 评论 -
如何用消息系统避免分布式事务?
前阵子从支付宝转账1万块钱到余额宝,这是日常生活的一件普通小事,但作为互联网研发人员的职业病,我就思考支付宝扣除1万之后,如果系统挂掉怎么办,这时余额宝账户并没有增加1万,数据就会出现不一致状况了。 上述场景在各个类型的系统中都能找到相似影子,比如在电商系统中,当有用户下单后,除了在订单表插入一条记录外,对应商品表的这个商品数量必须减1吧,怎么保证?!在搜索广告系统中,当用户点击某广告后转载 2016-11-21 09:40:03 · 296 阅读 · 0 评论 -
阿里巴巴分布式消息系统的演进之路
阿里中间件给客户提供的是一套企业互联网应用架构整体解决方案,里面有很多组件,比如用来做分布式应用编写的应用平台(EDAS),做可无限扩展的分布式数据库(DRDS)和金融级可靠的消息队列服务(AliMQ)。这篇文章主要是希望给大家介绍一下阿里巴巴中间件分布式消息系统(AliMQ)这块的一些基本情况。从消息系统在阿里内的应用情况,解决了什么问题,具体解决问题的原理是什么等方面做一些分享。转载 2016-12-30 09:31:57 · 408 阅读 · 0 评论 -
ActiveMQ“连接池”使用
1. ActiveMQ的连接池ActiveMQ提供了PoolConnectionFactory、PoolConnection等实现连接池功能,连接池是供对connection、session、producer的“池”,PoolConnectionFactory的类注释说明的原因: 类注释代码 NOTE: while this implementatio转载 2017-03-21 10:06:32 · 2261 阅读 · 0 评论 -
ActiveMQ使用线程池实现消息的生产与消费
1。 首先先引入相关的lib包,重点需引用activemq-client-5.8.0.jar,activemq-core-5.7.0.jar,activemq-pool-5.8.0.jar,activemq-protobuf-1.1.jar等包,其他包自行配置。2。 一些公共工具类的代码:JMSProducer.java[java] view p转载 2017-03-21 10:07:38 · 1277 阅读 · 0 评论 -
Rocketmq整体分析
之前本人在实际的生产环境中,使用过activemq和rabbitmq消息队列,在使用过程中出现一些难以解决的问题,本文通过产品选型、网络架构和核心特性分析了rocketmq的优势和特性。产品选型 我们在进行中间件选型时,一般都是通过下面几点来进行产品选型的: 1.性能 2.功能支持程度 3.开发语言(团队中是否有成员熟悉此中间件的转载 2017-04-27 18:02:47 · 395 阅读 · 0 评论 -
分布式开放消息系统(RocketMQ)的原理与实践
分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件,需要具有高吞吐量、高可用等特点。而谈到消息系统的设计,就回避不了两个问题:消息的顺序问题消息的重复问题 RocketMQ作为阿里开源的一款高性能、高吞吐量的消息中间件,它是怎样来解决这两个问题的?RocketMQ 有哪些关键特性?其实现原理是怎样的? 关键特性以及其实现原理 一、顺序消息 消转载 2017-06-09 09:42:01 · 479 阅读 · 0 评论