走在前往架构师的路上

专注于分布式计算,大数据,数据挖掘,机器学习算法等领域的研究

分布式系统阅读笔记(九)-----Web Service服务

一、介绍 Web Service用一句话概括就是它提供了一个服务接口使客户端能够与服务端进行交互用非常多种的方式,超过普通的浏览器的模式。在Web Service中通常是以XML的格式方式进行传输和通信的。这其中还涉及了XML的Security安全方面的操作。 1、Web Service服务是...

2014-12-30 15:57:03

阅读数:1618

评论数:0

分布式系统阅读笔记(八)-----分布式对象和组件

一、介绍 在分布式系统中,一个完整的中间件需要展现一定的对于上层程序语言的以及底层的物理设施的抽象性。而分布式对象和分布式组件恰恰是2种重要的实现方式。 1、分布式对象包集成了面向对象的语言的特征和优点。能够使用户用类似面向对象的语言调用的层次上去实现远程的方法调用。 2、分布式对象有下面的...

2014-12-29 09:41:01

阅读数:2197

评论数:0

分布式系统阅读笔记(七)-----操作系统的支持

介绍) 前面主要介绍了一些直接通信和间接通信,包括一些中间件的一些技术,这次我学习的内容是层级再往下,用一句话形式就是:在分布式系统中的操作系统级别对于中间件的支持。在这篇中,主要关注与操作系统级别对于通信的一些支持,包括RPC这样的远程调用等。 操作系统的层次) 操作系统是一个凌驾于纯硬件...

2014-12-27 15:42:17

阅读数:1625

评论数:0

分布式系统阅读笔记(六)-----间接通信

介绍) 这次的内容其实与上篇学习的内容正好是相对的,之前的各种通讯方式其实说的都是直接通讯,而这次我学习的内容是间接通讯,二者的本质区别在于间接通讯把时间和空间进行了分离,直接通讯在这2点上都进行了耦合,有点事操作直接简单,但是缺点也是非常明显的,扩展性差,不能很好的面对变化。根据空间和时间2个维...

2014-12-25 19:46:40

阅读数:2345

评论数:0

分布式系统阅读笔记(五)-----远程调用

介绍) 这篇笔记主要讲的是远程调用的主要2种形式,RPC(远程过程调用),RMI(远程方法调用),这2种方法作为远程调用的实现形式,对于我们理解他们的过程非常有用。 请求回复协议) 在远程调用中,一个很重要的概念是啊请求回复协议,由客户端发送Request到服务端,服务端执行好操作之后,把结果在回...

2014-12-24 09:31:04

阅读数:2116

评论数:0

分布式系统阅读笔记(四)-----进程间通信

介绍) 进程间通信的方式里包含了非常多的内容,比如用于实现进程间通信需要用到许多协议提供的API,在进程间的远程方法的调用上需要的约定一定的数据格式,这就衍生出了数据集中编组的一种方式。还有多播网络技术和对于特定应用的虚拟网络技术。 协议的相关API) 为了实现进程间通信中,根据不同类型的通...

2014-12-22 21:14:41

阅读数:2686

评论数:0

分布式系统阅读笔记(三)-----计算机网络和网络互连技术

1)介绍 当前网络在分布式系统中的主要问题有2个,1个是延时问题,还有一个数据传输速率的问题,后者可能受各方面的因素影响,比如网络总带宽的限制等。下面列表几个在分布式网络系统中的几个主要可能的讨论点: 1.扩展性。 2.可靠性。 3.安全性。 4.网络移动性。 5.网络服务质量。 6...

2014-12-21 16:06:50

阅读数:2022

评论数:0

分布式系统阅读笔记(二)----系统模型

1)引言 这篇笔记将为你讲述在分布式系统中经常会提到的3种模型结构,而且也用在了很多的方面。 2)介绍 主要分为3个: 1.物理模型,就是对于底层物理机子的一层包装。 2.结构模型,由一系列的用于计算和通信的节点所组成 3.基本模型,基本模型涵盖的方面是非常多的,具体细分可以有安全模型,用于沟通等...

2014-12-19 15:44:35

阅读数:2118

评论数:0

分布式系统阅读笔记(一)-----分布式系统的特征

1)引言 从今天开始,我将会开始学习分布式系统的一些理论知识,全方面的重新学习分布式的各个技术点,所以选用了原版本的英文教材>作为学习的资源。在期间,我会没读完一章,及时的做一些阅读的笔记,1个是怕自己忘了,还有一个是把知识分享给大家,这也是我首次阅读全英文的书籍,还是挺吃力的,希望能坚持把...

2014-12-18 13:18:17

阅读数:4166

评论数:0

Yarn架构基本概况(二)

在概况(一)中,主要简单的对Yarn的情况作了简单的介绍,今天花一定时间在某些具体的模块上呈现以下Yarn的整体情况,帮助大家更好的理解Yarn。 1)ResourceManager 在Yarn的整体架构中,他用的也是Master/Slave架构,他的Slave是NodeManager,RM在...

2014-12-16 16:15:39

阅读数:1962

评论数:0

Yarn架构基本概况(一)

1)引言 针对MRv1在扩展性,可靠性,资源利用率和多框架的支持上存在着明显的不足,进而诞生了下一代的MapReduce的计算框架MapReduce Version2,MRV1中有一个很大的问题就是把资源管理和作业调度都扔给了JobTracker,造成了严重的单点瓶颈问题,所有MRV2主要在这一...

2014-12-15 13:48:17

阅读数:2309

评论数:1

从Hadoop 安全机制原理到当今主流安全机制

在Hadoop Common模块中除了之前我所分析过的4大主模块,还有一个也同样是非常重要的内容,就是Security---安全模块。不过,我只是简单的分析他的实现机制,并不会涉及代码的分析。同时,我会通过对于Hadoop中采取的安全机制方法延伸到当下主流的一些安全认证方法,比如LDAP,SSL,...

2014-12-13 09:10:59

阅读数:5518

评论数:0

Hadoop FileSystem文件系统的概要学习

在学习Hadoop FileSystem模块之前,最好的建议就是先去学习一下Linux本地文件系统的设计实现,这将会大大的帮助你了解Hadoop FileSystem,至少很多思想都是共通的。其实老实说,Hadoop FileSystem的确是集成了很多文件系统的诸多优点,在设计上还是有非常多值得...

2014-12-11 10:01:23

阅读数:3713

评论数:0

Linux文件系统存储方式

文件系统作为一个系统的重要组成部分,对于每位程序员来说,都是非常重要的基础知识。与此同时,Linux和Windows上的文件系统的原理又恰恰是不一样的。Windows中采用的是FAT 表的形式,但是今天我主要的讲的是更为经典的Linux本地文件系统上的存储原理,稍稍分析一下他的结构,作为抛砖引玉。...

2014-12-10 10:34:52

阅读数:3837

评论数:3

fastJson解析框架的学习

最近偶然间看到了以前写过的代码,发现了以前用的非常频繁的json解析框架fastjson。这个框架的确非常方便,帮助开发者省了很多的人工代码。以前那是因为没有时间写学习其中的原理,周末抽了点时间分析了下他的源码,可以作为不错的json解析框架的资料。主要分为2个步骤,1个是对象转json字符串,还...

2014-12-08 20:27:25

阅读数:9673

评论数:1

Hadoop RPC通信Server端的流程分析

前2天刚刚小小的分析下Client端的流程,走的还是比较通顺的,但是RPC的服务端就显然没有那么简单了,毕竟C-S这种模式的,压力和重点都是放在Server端的,所以我也只能做个大概的分析,因为里面细节的东西太多,我也不可能理清所有细节,但是我会集合源代码把主要的流程理理清。如果读者想进一步学习的...

2014-12-07 09:27:00

阅读数:2288

评论数:0

Hadoop RPC通信Client客户端的流程分析

Hadoop的RPC的通信与其他系统的RPC通信不太一样,作者针对Hadoop的使用特点,专门的设计了一套RPC框架,这套框架个人感觉还是有点小复杂的。所以我打算分成Client客户端和Server服务端2个模块做分析。如果你对RPC的整套流程已经非常了解的前提下,对于Hadoop的RPC,你也一...

2014-12-05 18:47:36

阅读数:3210

评论数:3

数据挖掘概述

最近看了比较多的关于大数据处理方面的知识,但是例如Hadoop,Spark,Storm等平台大都是对于数据的存储和管理操作,并不是对于数据进行分析和处理的。所以这里就衍生出了另外一种对于数据的处理,数据挖掘。学习数据挖掘也非常偶然,首先毕竟本人一直在做的是数据方面的工作,数据挖掘相当于是对数据处理...

2014-12-05 16:39:16

阅读数:1940

评论数:0

Java RMI和Java Dynamic Proxy 动态代理的分析

最近准备学习Hadoop RFC的模块架构学习,但是这个模块用到了比较多的java中的比较新颖的知识,比如RMI,和动态代理的了,以及还有在jdk1.4中新添加的额NIO的知识。所以决定先花一点时间,复习一下前2个模块的知识。这样对于Hadoop的RPC通信会比较了解。java RMI和Proxy...

2014-12-03 10:30:42

阅读数:2425

评论数:0

Hadoop Compression解压缩架构的学习

Hadoop的Compressor解压缩模块是Hadoop Common IO模块中又一大的模块。虽然说在现实生活中,我们使用压缩工具等的使用场景并不是那么多。或许在我们潜在的意识里,压缩的概念就停留在一些压缩种类上,zip,gzip,bizp等等不同类型的压缩,分别具有不同的压缩比,效率比等等。...

2014-12-01 14:25:00

阅读数:2503

评论数:0

提示
确定要删除当前文章?
取消 删除