分布式
文章平均质量分 80
Edison徐
非专业不著名IT工匠
展开
-
Zookeeper入门例子
本来想自己写……结果,官方例子很给力……恕我懒惰。http://zookeeper.apache.org/doc/trunk/javaExample.html转载 2013-10-17 09:29:40 · 894 阅读 · 0 评论 -
批量更新时更新分布式ID
在批量更新时,每行的分布式ID自动更新。原创 2016-04-13 17:04:51 · 1217 阅读 · 0 评论 -
用ELK监控系统请求和错误
前言:现在的系统,动则分布式,分布式情况下,错误的定位比传统的单机要麻烦很多。因为log文件分布在不同的feature的不同节点。一直想找一种方式来简化这个过程。目前主流的log监控有:Splunk:商业收费syslog-ng:漏数据flume:java写的,有点重chukwa:专为Hadoop服务scribe:java写的,略重zabbix、ganglia:全原创 2014-08-25 10:42:47 · 11545 阅读 · 2 评论 -
Storm应用系列之——集群部署
Storm系列之——集群部署原创 2013-12-30 15:53:37 · 8745 阅读 · 6 评论 -
高性能消息系统——Kafka
Kafka基本介绍原创 2014-01-15 17:02:46 · 7247 阅读 · 2 评论 -
Kafka Java API 之Producer源码解析
本文系原创,转载请注明!原帖地址:从我的OneNote copy过来,格式似乎有点问题,懒得整了。将就着看吧,各位。Kafka提供了Producer类作为java producer 的api,该类有sync和async两种发送方式。 默认是sync方式,即producer的调用类在消息真正发送到队列中去以后才返回,其工作原理如下: new原创 2014-01-15 17:15:12 · 10076 阅读 · 4 评论 -
Storm应用系列之——Topology部署
Storm的topology不同部署方式,以及其部署原理原创 2014-01-13 13:14:01 · 12635 阅读 · 4 评论 -
Storm应用系列之——可靠性与acker机制
Storm是如何保证数据的不丢失的?内部原理是什么?什么是acker?原创 2014-01-02 16:03:46 · 12358 阅读 · 2 评论 -
Storm应用系列之——Spout、Bolt API
Storm中常用的Bolt和Spout API介绍原创 2014-01-02 13:19:21 · 17209 阅读 · 6 评论 -
Storm应用系列之——最基本的例子
Storm系列之最基本的例子原创 2013-12-30 19:41:11 · 15645 阅读 · 1 评论 -
Storm系列之——基本概念
形象的讲述Storm的基本概念原创 2013-12-30 11:42:31 · 7616 阅读 · 4 评论 -
分布式环境下创建唯一ID
在我目前的系统中,有多个系统会尝试写入数据库。要求库中表的第一个字段是全局唯一的ID(跨表)。为了实现该要求,想了如下的办法:1. 自行设计唯一规则;2. 利用数据库自增;3. 利用外部统一的ID生成器。1先不谈。后面详解。2. 数据库自增在跨表时就无法用了,但是可以单独创建一张表来计数,每次去取LAST_INSERT值。利用了MySQL的replace info。原创 2013-12-13 18:30:15 · 2307 阅读 · 0 评论 -
Zookeeper工作原理2
原文:http://chenlx.blog.51cto.com/4096635/746393 记得在大约在2006年的时候Google出了Chubby来解决分布一致性的问题(distributed consensus problem),所有集群中的服务器通过Chubby最终选出一个Master Server ,最后这个Master Server来协调工作。简单来说其原理就是:在一个分布式转载 2013-10-17 09:36:21 · 787 阅读 · 0 评论 -
Zookeeper工作原理
转自:http://baidutech.blog.51cto.com/4114344/743012ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协转载 2013-10-17 09:35:25 · 900 阅读 · 0 评论 -
Zookeeper实现分布式Session管理实现
1. 认识ZooKeeperZooKeeper——“动物园管理员”。动物园里当然有好多的动物,游客可以根据动物园提供的向导图到不同的场馆观赏各种类型的动物,而不是像走在原始丛林里,心惊胆颤的被动物所观赏。为了让各种不同的动物呆在它们应该呆的地方,而不是相互串门,或是相互厮杀,就需要动物园管理员按照动物的各种习性加以分类和管理,这样我们才能更加放心安全的观赏动物。回到我们企业级应用系统中,转载 2013-10-17 09:33:31 · 1282 阅读 · 0 评论 -
Zookeeper入门
安装和配置详解本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础,最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取,Zookeeper 的安装非常简单,下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。单机模式单机安装非常简单,只要获取到 Zookeeper 的压缩包并解压到某个目录如:/转载 2013-10-17 09:27:49 · 931 阅读 · 0 评论 -
JAVA分布式事务原理及应用
引言 JTA( Java Transaction API)允许应用 程序 执行分布式事务处理--在两个或多个 网络 计算机资源上访问并且更新数据。JDBC 驱动 程序的JTA支持极大地增强了数据访问能力。 本文的目的是要提供一个关于的Java事务处理API(JTA)的高级的概述,以及与分布式事务相关的内容。一个事务处理定义了一个工作逻辑单元,要么 彻底成功要么不产生任何结果。转载 2013-10-17 09:44:15 · 2009 阅读 · 0 评论 -
Zookeeper实现分布式共享锁
分布式系统中经常需要协调多进程,多个jvm,或者多台机器之间的同步问题,得益于zookeeper,实现了一个分布式的共享锁,方便在多台服务器之间竞争资源时,来协调各系统之间的协调和同步。 package com.concurrent; import java.io.IOException;import java.util.ArrayList;import转载 2013-10-17 09:30:50 · 1609 阅读 · 0 评论 -
微服务与CQRS&EventSourcing
最近一直在研究微服务与CQRS、EventSourcing相关的内容。目前课题为Axon3,写了一个系列教程,放到我的新博客去了。地址为:CQRS和Event Souring系列(一):论精益与领域设计CQRS和Event Souring系列(二):基本概念CQRS和Event Souring系列(三): Hello,Axon3CQRS和Event Souring系列(四): Axon使用Jpa存...原创 2017-04-10 09:06:10 · 2247 阅读 · 2 评论