2014年12月_Android路上的人

原创分布式系统阅读笔记（九）-----Web Service服务

一、介绍Web Service用一句话概括就是它提供了一个服务接口使客户端能够与服务端进行交互用非常多种的方式，超过普通的浏览器的模式。在Web Service中通常是以XML的格式方式进行传输和通信的。这其中还涉及了XML的Security安全方面的操作。1、Web Service服务是Web服务器的一个扩展形式。2、Web Service采用的XML的数据格式保证了可读性。3、

2014-12-30 15:57:03 2159

原创分布式系统阅读笔记（八）-----分布式对象和组件

一、介绍在分布式系统中，一个完整的中间件需要展现一定的对于上层程序语言的以及底层的物理设施的抽象性。而分布式对象和分布式组件恰恰是2种重要的实现方式。1、分布式对象包集成了面向对象的语言的特征和优点。能够使用户用类似面向对象的语言调用的层次上去实现远程的方法调用。2、分布式对象有下面的一些优点：1、包装性。2、他将一个对象的实现和对象本身分离了。3、具有动态性和扩展性。3、分布式组

2014-12-29 09:41:01 3604

原创分布式系统阅读笔记（七）-----操作系统的支持

介绍）前面主要介绍了一些直接通信和间接通信，包括一些中间件的一些技术，这次我学习的内容是层级再往下，用一句话形式就是：在分布式系统中的操作系统级别对于中间件的支持。在这篇中，主要关注与操作系统级别对于通信的一些支持，包括RPC这样的远程调用等。操作系统的层次）操作系统是一个凌驾于纯硬件资源上面的一个软件系统，封装了对于硬件的抽象，在上面有内存管理，I/O管理，CPU的管理等等。1.

2014-12-27 15:42:17 2150

原创分布式系统阅读笔记（六）-----间接通信

介绍)这次的内容其实与上篇学习的内容正好是相对的，之前的各种通讯方式其实说的都是直接通讯，而这次我学习的内容是间接通讯，二者的本质区别在于间接通讯把时间和空间进行了分离，直接通讯在这2点上都进行了耦合，有点事操作直接简单，但是缺点也是非常明显的，扩展性差，不能很好的面对变化。根据空间和时间2个维点，可以有4种不同的类型的通信方式，时间的分离是这样的形式:消息的本质在传送的过程中有一定的生存时间

2014-12-25 19:46:40 3540

原创分布式系统阅读笔记（五）-----远程调用

介绍）这篇笔记主要讲的是远程调用的主要2种形式，RPC(远程过程调用)，RMI(远程方法调用)，这2种方法作为远程调用的实现形式，对于我们理解他们的过程非常有用。请求回复协议）在远程调用中，一个很重要的概念是啊请求回复协议，由客户端发送Request到服务端，服务端执行好操作之后，把结果在回传到客户端上，就完成了一个基本的调用过程。这里有几点比较重要的概念：1.消息标识别。这里指的

2014-12-24 09:31:04 2839

原创分布式系统阅读笔记（四）-----进程间通信

介绍）进程间通信的方式里包含了非常多的内容，比如用于实现进程间通信需要用到许多协议提供的API，在进程间的远程方法的调用上需要的约定一定的数据格式，这就衍生出了数据集中编组的一种方式。还有多播网络技术和对于特定应用的虚拟网络技术。协议的相关API）为了实现进程间通信中，根据不同类型的通信方式，系统有不同的API和类。进程间通信，离不开send process,和receive proc

2014-12-22 21:14:41 3645

原创分布式系统阅读笔记（三）-----计算机网络和网络互连技术

1）介绍当前网络在分布式系统中的主要问题有2个，1个是延时问题，还有一个数据传输速率的问题，后者可能受各方面的因素影响，比如网络总带宽的限制等。下面列表几个在分布式网络系统中的几个主要可能的讨论点：1.扩展性。2.可靠性。3.安全性。4.网络移动性。5.网络服务质量。6.多播传送。2）网络类型网络的类型有下面几种1.PAN,私人区域网络，是本地网络的一个子集

2014-12-21 16:06:50 2776

原创分布式系统阅读笔记（二）----系统模型

1）引言这篇笔记将为你讲述在分布式系统中经常会提到的3种模型结构，而且也用在了很多的方面。2）介绍主要分为3个:1.物理模型，就是对于底层物理机子的一层包装。2.结构模型，由一系列的用于计算和通信的节点所组成3.基本模型，基本模型涵盖的方面是非常多的，具体细分可以有安全模型，用于沟通等的交互模型。3）物理模型简单的就一句话描述：由分布式系统中的底层的硬件设置组成的一

2014-12-19 15:44:35 3274

原创分布式系统阅读笔记（一）-----分布式系统的特征

1）引言从今天开始，我将会开始学习分布式系统的一些理论知识，全方面的重新学习分布式的各个技术点，所以选用了原版本的英文教材>作为学习的资源。在期间，我会没读完一章，及时的做一些阅读的笔记，1个是怕自己忘了，还有一个是把知识分享给大家，这也是我首次阅读全英文的书籍，还是挺吃力的，希望能坚持把长达1000页的书籍学习完把。2）分布式系统的介绍分布式系统是通过网络连接各个计算机，通过消息通信

2014-12-18 13:18:17 5949

原创 Yarn架构基本概况(二)

在概况(一)中，主要简单的对Yarn的情况作了简单的介绍，今天花一定时间在某些具体的模块上呈现以下Yarn的整体情况，帮助大家更好的理解Yarn。1）ResourceManager在Yarn的整体架构中，他用的也是Master/Slave架构，他的Slave是NodeManager，RM在Yarn中扮演着一个非常重要的角色，他是负责集群中所有资源的统一管理和分配的。他根据各个NM的资源汇报

2014-12-16 16:15:39 2703

原创 Yarn架构基本概况(一)

1）引言针对MRv1在扩展性，可靠性，资源利用率和多框架的支持上存在着明显的不足，进而诞生了下一代的MapReduce的计算框架MapReduce Version2,MRV1中有一个很大的问题就是把资源管理和作业调度都扔给了JobTracker，造成了严重的单点瓶颈问题，所有MRV2主要在这一点上做了改进，他将资源管理模块构建成了一个独立的通用系统叫做Yarn，一下子MRV2的核心从MapRe

2014-12-15 13:48:17 3215 1

原创从Hadoop 安全机制原理到当今主流安全机制

在Hadoop Common模块中除了之前我所分析过的4大主模块，还有一个也同样是非常重要的内容，就是Security---安全模块。不过，我只是简单的分析他的实现机制，并不会涉及代码的分析。同时，我会通过对于Hadoop中采取的安全机制方法延伸到当下主流的一些安全认证方法，比如LDAP，SSL，Oauth Token等等。、1）Hadoop SecurityHadoop的Security

2014-12-13 09:10:59 7400

在学习Hadoop FileSystem模块之前，最好的建议就是先去学习一下Linux本地文件系统的设计实现，这将会大大的帮助你了解Hadoop FileSystem，至少很多思想都是共通的。其实老实说，Hadoop FileSystem的确是集成了很多文件系统的诸多优点，在设计上还是有非常多值得学习的地方的。这里说的FileSystem可不是就仅仅的是HDFS，HDFS只是他的一个实现。也就是F

2014-12-11 10:01:23 5142

原创 Linux文件系统存储方式

文件系统作为一个系统的重要组成部分，对于每位程序员来说，都是非常重要的基础知识。与此同时，Linux和Windows上的文件系统的原理又恰恰是不一样的。Windows中采用的是FAT 表的形式，但是今天我主要的讲的是更为经典的Linux本地文件系统上的存储原理，稍稍分析一下他的结构，作为抛砖引玉。文件系统的数据块管理我们都知道，文件要被存储在磁盘中，我们都是把以数据块的概念做处理和存储的，

2014-12-10 10:34:52 6256 3

原创 fastJson解析框架的学习

最近偶然间看到了以前写过的代码，发现了以前用的非常频繁的json解析框架fastjson。这个框架的确非常方便，帮助开发者省了很多的人工代码。以前那是因为没有时间写学习其中的原理，周末抽了点时间分析了下他的源码，可以作为不错的json解析框架的资料。主要分为2个步骤，1个是对象转json字符串，还有1个是json字符转对象的处理。fastjson介绍fastjson是阿里巴巴内部的json

2014-12-08 20:27:25 12097 2

原创 Hadoop RPC通信Server端的流程分析

前2天刚刚小小的分析下Client端的流程，走的还是比较通顺的，但是RPC的服务端就显然没有那么简单了，毕竟C-S这种模式的，压力和重点都是放在Server端的，所以我也只能做个大概的分析，因为里面细节的东西太多，我也不可能理清所有细节，但是我会集合源代码把主要的流程理理清。如果读者想进一步学习的话，可自行查阅源码。 Server服务端和Client客户端在某些变量的定义上

2014-12-07 09:27:00 3211

原创 Hadoop RPC通信Client客户端的流程分析

Hadoop的RPC的通信与其他系统的RPC通信不太一样，作者针对Hadoop的使用特点，专门的设计了一套RPC框架，这套框架个人感觉还是有点小复杂的。所以我打算分成Client客户端和Server服务端2个模块做分析。如果你对RPC的整套流程已经非常了解的前提下，对于Hadoop的RPC，你也一定可以非常迅速的了解的。OK，下面切入正题。 Hadoop的RPC的相关代码

2014-12-05 18:47:36 4491 3

原创数据挖掘概述

最近看了比较多的关于大数据处理方面的知识，但是例如Hadoop，Spark，Storm等平台大都是对于数据的存储和管理操作，并不是对于数据进行分析和处理的。所以这里就衍生出了另外一种对于数据的处理，数据挖掘。学习数据挖掘也非常偶然，首先毕竟本人一直在做的是数据方面的工作，数据挖掘相当于是对数据处理后的下一步操作，学习一下数据挖掘的基本知识，了解了解常用的一些数据挖掘算法，对我来说也是一件不错的事。

2014-12-05 16:39:16 2337

原创 Java RMI和Java Dynamic Proxy 动态代理的分析

最近准备学习Hadoop RFC的模块架构学习，但是这个模块用到了比较多的java中的比较新颖的知识，比如RMI，和动态代理的了，以及还有在jdk1.4中新添加的额NIO的知识。所以决定先花一点时间，复习一下前2个模块的知识。这样对于Hadoop的RPC通信会比较了解。java RMI和Proxy动态代理我不会高谈阔论，我主要简单的举出两个例子，分析他的调用步骤，，再结合一下他的源码，达到理解，会

2014-12-03 10:30:42 3442

原创 Hadoop Compression解压缩架构的学习

Hadoop的Compressor解压缩模块是Hadoop Common IO模块中又一大的模块。虽然说在现实生活中，我们使用压缩工具等的使用场景并不是那么多。或许在我们潜在的意识里，压缩的概念就停留在一些压缩种类上，zip,gzip,bizp等等不同类型的压缩，分别具有不同的压缩比，效率比等等。也许当你看完本篇本人对于Hadoop的压缩框架的学习之后，你一定会有所收获。压

2014-12-01 14:25:00 3527

走在前往架构师的路上