2017年03月_aikuangchou2298

转载 dubbo源码分析三：consumer注册及生成代理对象

本章我们将分析一下consumer向注册中心注册，并获取服务端相应的信息，根据这些信息生产代理对象的过程和源码。1.类图上图展示了部分消费者注册及生成代理对象过程中需要使用到的类和接口，其中： spring适配涉及到的类：DubboNamespaceHandler、DubboBeanDefinitionParser、ReferenceBean; 配...

2017-03-29 10:54:00 391

转载 dubbo源码分析二：服务发布

本文将深入分析dubbo的服务发布涉及到的流程及主要类的代码。首先，我们先从类的关系图来看一下dubbo发布服务涉及到的相关类。1.类图上图展示了部分服务发布过程中需要使用到的类和接口，其中： spring适配涉及到的类：DubboNamespaceHandler、DubboBeanDefinitionParser、ServiceBean; 配置信...

2017-03-29 10:51:00 80

转载 dubbo源码分析一：整体分析

本文作为dubbo源码分析的第一章，先从总体上来分析一下dubbo的代码架构、功能及优缺点，注意，本文只分析说明开源版本提供的代码及功能。1.dubbo的代码架构： spring适配层：常规的spring适配方法，内容包括使用dubbo.xsd文件来定义dubbo相关的元素及属性；DubboNamespaceHandler用来向spring容器注册dubbo的元素解析...

2017-03-29 10:47:00 75

转载 kafka集群partition分布原理分析

1. Kafka集群partitionreplication默认自动分配分析下面以一个Kafka集群中4个Broker举例，创建1个topic包含4个Partition，2 Replication；数据Producer流动如图所示：(1)(2)当集群中新增2节点，Partition增加到6个时分布情况如下：副本分配逻辑规则如下：在Kafka集群中，每个...

2017-03-08 16:19:00 178

转载 Kafka的通讯协议

Kafka的通讯协议标签:kafkaKafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完全是为了Kafka自身的业务需求而定制的，而非要实现一套类似于Protocol Buffer的通用协议。本文将介绍这套协议的相关内容。基本数据类型定长数据类型：int8,int16,int32和int6...

2017-03-08 15:20:00 67

转载 RabbitMQ和Kafka

关于Kafka根据Kafka官方的文档，Kafka可以被认为一个高大上的集群消息中间件，但是读了下以前一个朋友给的部署文档和Kafka的官方的文档。发现Kafka确实不错，真的可以说是集群消息中间件。用topic来进行消息管理，每个topic包含多个part，每个part对应一个逻辑log，有多个segment组成。segment中的消息id由其逻辑位置决定，...

2017-03-08 12:05:00 63

转载深入理解kafka设计原理

最近开研究kafka，下面分享一下kafka的设计原理。kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力. 1、持久性 kafka使用文件存储消息,这就直接决定kafka在性能上严重依赖文件系统的本身特性.且无论任何OS下,对文件系统本身的优化几乎没有可能.文件...

2017-03-08 12:04:00 74

转载 Kafka的Log存储解析

引言Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partition的关系。partition是以文件的形式存储在文件...

2017-03-08 12:00:00 59

转载 Netty 超时机制及心跳程序实现

Netty 超时机制的介绍Netty 的超时类型IdleState主要分为：ALL_IDLE : 一段时间内没有数据接收或者发送READER_IDLE ：一段时间内没有数据接收WRITER_IDLE ：一段时间内没有数据发送在 Netty 的timeout包下，主要类有：IdleStateEvent ：超时的事件IdleStateHa...

2017-03-07 18:31:00 65

转载 Netty 实现 WebSocket 聊天功能

准备JDK 7+Maven 3.2.xNetty 4.xEclipse 4.xWebSocketWebSocket 通过“Upgrade handshake（升级握手）”从标准的 HTTP 或HTTPS 协议转为 WebSocket。因此，使用 WebSocket 的应用程序将始终以 HTTP/S 开始，然后进行升级。在什么时候发生这种情况取决于具体的应用...

2017-03-07 18:29:00 114

转载 Netty 实现聊天功能

Netty是一个 Java NIO 客户端服务器框架，使用它可以快速简单地开发网络应用程序，比如服务器和客户端的协议。Netty 大大简化了网络程序的开发过程比如 TCP 和 UDP 的 socket 服务的开发。更多关于 Netty 的知识，可以参阅《Netty 4.x 用户指南》（https://github.com/waylau/netty-4-user-guide）下面，就...

2017-03-07 18:27:00 64

转载 RabbitMQ在分布式系统中的应用

怎么保证可靠性的？RabbitMQ提供了几种特性，牺牲了一点性能代价，提供了可靠性的保证。持久化当RabbitMQ退出时，默认会将消息和队列都清除，所以需要在第一次声明队列和发送消息时指定其持久化属性为true，这样RabbitMQ会将队列、消息和状态存到RabbitMQ本地的数据库，重启后会恢复。java: durable=true cha...

2017-03-07 15:23:00 73

转载 Kafka文件存储机制那些事

Kafka是什么Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。1.前言一个商业化消息队列的性能好坏，其文件存储机制设计是衡量一个消...

2017-03-02 17:21:00 53

转载消息队列设计精要

消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、RocketMQ等。本文不会一一介绍这些消息队列的所有特性，而是探讨一下自主开发设计一个消息队列时，...

2017-03-02 17:17:00 71

转载 zookeeper分布式锁避免羊群效应（Herd Effect）

本文主要讲述在使用ZooKeeper进行分布式锁的实现过程中，如何有效的避免“羊群效应( herd effect)”的出现。一般的分布式锁实现这里简单的讲下一般的分布式锁如何实现。具体的代码实现可以在这里看到：https://svn.apache.org/repos/asf/zookeeper/trunk/src/recipes/lock/在之前的《ZooKeepe数据模型...

2017-03-01 11:40:00 101

转载分布式事务原理与实践

事务简介事务的核心是锁和并发，采用同步控制的方式保证并发的情况下性能尽可能高，且容易理解。这种方式的优势是方便理解；它的劣势是性能比较低。计算机可以简单的理解为一个标准的打字机，尽管看起来计算机可以并行处理很多事情，但实际上每个CPU单位时间内只能做一件事，要么读取数据、要么计算数据、要么写入数据，所有的任务都可以看成这三件事的集合。计算机的这种特性引出了一个问题：当多个人去读、算、...

2017-03-01 10:31:00 110

aikuangchou2298的博客