2015年06月_小尼人00

转载 apache kafka系列之server.properties配置文件参数说明

--rockybean 每个kafka broker中配置文件server.properties默认必须配置的属性如下： [java] view plaincopy broker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer.byt

2015-06-29 11:36:15 583

转载 Kafka集群partition replication自动分配分析

1. Kafka集群partition replication默认自动分配分析下面以一个Kafka集群中4个Broker举例，创建1个topic包含4个Partition，2 Replication；数据Producer流动如图所示： (1) (2)当集群中新增2节点，Partition增加到6个时分布情况如下：副本分配逻辑规则如下：

2015-06-28 17:11:10 2038

转载深入浅出JMS（一）——JMS简介

JMS即Java消息服务（Java Message Service）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。如果手机只能进行实时通话，没有留言和短信功能会怎么样？一个电话打过来，正好没有来得及接上，那么这个电话要传递的信息肯定就收不到了。为什么不能先将信息存下来，当用户需要查看信息的时候再去

2015-06-06 12:02:18 522

转载消息订阅发布系统Apache Kafka分布式集群环境搭建和简单测试

一、什么是kafka? 　　kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）二、kafka的官方网站在哪里？　　

2015-06-05 17:13:49 578

转载 Kafka(二)：环境搭建&测试

本文基于Kafka 0.8 在一台机器上构建一个3个节点的kafka集群，并测试producer、consumer在正常情况下的行为，以及在lead broker/follow broker失效情况下的行为 1.下载并解压kafka 0.8.0 release $ mkdir kafka $ wget http://apache.dataguru.cn/kafka/0.8.0/ka

2015-06-05 17:06:27 880

转载 Kafka(一)：基础

本文基于Kafka 0.8 1. 引言互联网够公司的日志无处不在，web日志，js日志，搜索日志，监控日志等等。对于这些日志的离线分析（Hadoop），wget&rsync虽然人力维护成本较高，但可以满足功能行需求。但对于这些日志的实时分析需求（例如实时推荐，监控系统），则往往必须要引入一些“高大上”的系统。传统的企业消息系统（例如WebSphere）并不是非常适合大规模的日

2015-06-05 15:14:11 538

转载 XStream转换时忽略未知字段

XStream是一个用于将对象序列化为xml以及将xml生成对象的库，通过它可以非常方便的做对象与xml(json等其他格式)之间的转换。但是在使用XStream过程中，会遇到xml元素与对象元素并不是一一匹配的情况，而导致程序抛出异常。通过以下方法可以解决这个问题： XML转为对象时XML的要素比对象多 ? 1 2 3 4

2015-06-04 14:17:14 7573 1

转载 XML,Object,Json转换之浅析Xstream的使用

XML,Object,Json转换之浅析Xstream的使用请尊重他人的劳动成果，转载请注明出处：XML,Object,Json转换之浅析Xstream的使用 XStream的是一个简单的库，主要用于Java对象和XML之间的转换。但XStream也内置了对Json的支持。 1.Xstream的特点：这里直接引用Xstream官方的叙述: 灵活易用：在更高的层次上提供了简单、灵

2015-06-04 10:40:56 640

转载关于通过Date.getTime()得到1970年01月1日0点零分问题验证

我的博客：通常认为Date.getTime()可以得到得到1970年01月1日0点零分以来的毫秒数,经过实践证明是错误的实际上通过Date.getTime()的到的是1970年01月01日8点中以来的毫秒数，实践代码如下 public static String getTimestamp_1970() throws Exception { java.text.Simp

2015-06-02 16:27:07 3779

知行天下