2013年08月_iteye_19607

Kafka部署与代码实例

kafka作为分布式日志收集或系统监控服务，我们有必要在合适的场合使用它。kafka的部署包括zookeeper环境/kafka环境，同时还需要进行一些配置操作.接下来介绍如何使用kafka. 我们使用3个zookeeper实例构建zk集群，使用2个kafka broker构建kafka集群. 其中kafka为0.8V，zookeeper为3.4.5V 一....

2013-08-25 23:09:23 262

前言: kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转存到HDFS等其他结构化数据存储系统中.因为日志消息通常为文本数据,尺寸较小,且对实时性以及数据可靠性要求不严格,但是需要日志存储端具备较高的数据吞吐能力,这种"宽松"的设计要求,非常适合使用kafka. ...

2013-08-24 23:32:59 163 1

JMS消息传送机制

JMS不仅需要高效的存储消息,还需要确保消息能够无误的被传输.这就需要JMS提供一种"保证传送"机制和事务.如果抛开JMS的规范,那么它的技术实现本身就是网络IO + 文件存储;其中网络IO的困境就在"数据传输安全保证""网络失效"等方面,"文件存储"即要求数据需要被高效的存取.其中"文件存储"层面已经有较多的第三方存储工具和解决方案,比如文件类型数据库/内存数据库等.如果消息系统需要...

2013-08-11 20:20:03 259

JMS消息选择器

消息选择器:对于消息消费者而言,可能希望接收通道中特定规则的消息,这个时候就需要使用消息选择器.MessageConsumer consumer = session.createConsumer(replyTo,"JMSCorrelationID='" + cid + "'"); 消息选择器需要在创建consumer时指定,且整个session生命周期中不能被改变;如果需...

2013-08-09 12:49:54 120

原创 JMS订阅模式消息

发布/订阅模型,消息会发送到一个名为主题(Topic)的虚拟通道中,消息生产者成为发布者(Publisher),消息的消费者成为订阅者(Subscriber);与点对点模型的最大不同,就是发布到主题的消息,能够被多个订阅者接收,类似于广播.发布/订阅模型的消息传输机制是一个基于推送(push)的方式,消息将有JMS Provider主动的向消息消费者广播,消费者客户端无需请求或者轮询,...

2013-08-08 21:11:07 488

原创 JMS中点对点消息

点对点消息传送模型允许JMS客户端通过队列(Queue)这个虚拟通道来同步和异步发送、接收消息。消息的生产者成为QueueSender，消费者为QueueReceiver。点对点模型是一个基于拉取(pull，即receive方式)或者基于轮询(polling,即异步接收)的消息传输模型，这种模型从队列中请求消息，而不是JMS Provider将消息自动的推送给客户端。发送到队列的任何一...

2013-08-07 20:43:45 262

原创 Mysql数据库事务(备忘)

一.设置Mysql的事务级别 1) my.ini文件中:# READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ,SERIALIZABLEtransaction_isolation = READ-COMMITTED 2) 启动参数指定:./mysqld --transaction-isolation=READ-CO...

2013-08-06 23:53:20 109

原创 Apache commons-pool对象池原理分析

Apache commons-pool本质上是"对象池",即通过一定的规则来维护对象集合的容器;commos-pool在很多场景中,用来实现"连接池"/"任务worker池"等,大家常用的dbcp数据库连接池,也是基于commons-pool实现. commons-pool实现思想非常简单,它主要的作用就是将"对象集合"池化,任何通过pool进行对象存取的操作,都会严格按照"p...

2013-08-04 13:43:28 833

深入一点