acesql-CSDN博客

原创 Spark架构

Spark架构

2015-12-24 16:23:00 407

原创 Spark运行架构

Spark运行架构

2015-12-24 16:21:34 392

原创 Spark算子及功能

Spark算子及功能

2015-12-24 16:20:36 489

原创 RDD概述

http://note.youdao.com/share/?id=dfa94f9f39aeb68314c021916643032c&type=note

2015-12-24 16:16:39 454

原创 Hadoop实战-初级部分-第三部分 Hadoop安装部署

Hadoop 在linux 上单节点伪分布式的安装过程第一部分安装 JDK$chmod +x jdk-6u27-linux-i586.bin $./jdk-6u27-linux-i586.bin 安装完后设置java 环境变量如下命令：/home路径下 $vi .bashrc 然后添加如下语句 export JAVA_HOME=/ho

2013-02-21 11:48:12 412

原创 Hadoop实战-初级部分-第二部分 Hadoop介绍

Hadoop 是Apache 下的一个项目，由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。其中，HDFS 和MapReduce 是两个最基础最重要的成员。　　HDFS 是Google GFS 的开源版本，一个高度容错的分布式文件系统，它能够提供高吞吐量的数据访问，适合存储海量（PB级）的大文件（通常超过64M），其原理下图所示：采用Master/S

2013-02-21 10:49:40 499

原创 Hadoop实战-初级部分-第一部分云计算

第一部分：我们为什么要学习云计算技术•“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。” ———哈佛大学社会学教授加里·金 •一分钟内，微博推特( Twitter)上新发的数据数超过10万；社交网络“脸谱”(Facebook)的浏览量超过600万……•这些庞大数字，意味着什么？ •它意味着，一

2013-02-21 10:38:27 374

原创设计模式--行为型--访问者模式

一、访问者模式简介（Brief Introduction）表示一个作用于某对象结构中的元素操作。它使你可以在不改变各元素类的前提下定义作用于这些元素的新操作，它把数据结构和作用于结构上的操作之间的耦合性解脱开，使的操作结合可以相对自由地演化。优点是增加新的操作很容易，因为增加一个新的操作就意味着增加一个新的访问者，访问者模式将有关的行为集中到一个访问对象中。二、解决的问题（

2012-11-26 17:15:48 362

原创设计模式--行为型--模板模式

一、模板方法模式简介（Brief Introduction）模板方法模式(Template Method Pattern),定义一个操作中的算法骨架，而将一些步骤延迟到子类中。模板方法使得子类可以不改变一个算法的结构即可以重定义算法的某些特定步骤。模板方法模式把不变行为搬移到超类，从而去除子类中的重复代码，实际上模板方法模式就是提供了一个代码复用平台。二、解决的问题（What To Sol

2012-11-26 16:32:24 438

原创设计模式--行为型--状态模式

一、状态模式简介（Brief Introduction）状态模式（State Pattern），当一个对象的内在状态改变时允许改变其行为，这个对象看起来像是改变了其类。二、解决的问题（What To Solve）状态模式主要解决的是当控制一个对象状态装换的条件表达式过于复杂时的情况。把状态的判断逻辑转移到表示不同状态的一系列类中，可以把复杂的判断逻辑简单化。当一个对象行为取决于它的

2012-11-26 15:59:26 363

原创设计模式--行为型--备忘录模式

一、备忘录模式简介（Brief Introduction）备忘录模式（Memento Pattern），在不破坏封装的前提下，捕获一个对象的内部状态，并在该对象之外保存这个状态。这样以后就可以就该对象恢复到原先保存的状态。二、解决的问题（What To Solve）当系统功能比较复杂，而且需要记录历史属性以便当需要时做恢复动作。Originator可以根据保

2012-11-26 11:25:43 410

原创设计模式--行为型--中介者模式

一、中介者模式简介（Brief Introduction）中介者模式（Mediator Pattern），定义一个中介对象来封装系列对象之间的交互。中介者使各个对象不需要显示地相互引用，从而使其耦合性松散，而且可以独立地改变他们之间的交互中介者减少了各个同事对象的耦合，使得可以独立地改变和复用各个同事对象和中介者类；由于把对想如何协作进行了抽象，将中介作为一个独立的概念并将其封装在一个对象

2012-11-26 10:49:16 425

原创设计模式--行为型--迭代器模式

一、迭代器模式简介（Brief Introduction）迭代器模式（Iterator Pattern），提供一种方法顺序访问一个聚合对象中元素，而不暴露改集合对象的内部表示二、解决的问题（What To Solve）当需要访问一个聚集对象，而且不管这些对象是什么都需要遍历的时候，应该考虑用迭代器模式；当需要对聚集有多种方式遍历时，可以考虑使用迭代器模式三、迭代器模式分析（Anal

2012-11-26 10:16:16 409

原创设计模式--行为型--解释器模式

一、解释器模式简介（Brief Introduction）解释器模式（Interpreter Pattern），给定一个语言，定义它的文法的一种表示，并定义一个解释器，这个解释器使用该表示来解释语言中的句子。使用了解释器模式，可以很容易地改变和扩展文法，因为该模式使用类来表示文法规则，可以使用继承来改变或扩展该文法。也比较容易实现文法，因为定义抽象语法树中各个节点的类的实现大体类似，这些类容易

2012-11-26 09:42:23 426

原创设计模式--行为型--观察者模式

一、观察者模式简介（Brief Introduction）观察者模式定义了一种一对多的依赖关系，让多个观察者对象同时监听某一个主题对象，这个主题对象在状态发生变化的时，会通知所有观察者对象，使他们能够自动更新自己。二、解决的问题（What To Solve）当一个对象的改变需要同时改变其他对象的时候，而且不知道有多少对象有待改变时，应该考虑使用观察者模式。

2012-11-23 14:00:15 433

原创设计模式--行为型--策略模式

一、策略模式简介（Brief Introduction）定义一系列的算法，把它们一个个封装起来，并且使它们可相互替换。本模式使得算法可独立于使用它的客户而变化二、解决的问题（What To Solve）策略模式的重心不是如何来实现算法，而是如何组织、调用这些算法，从而让程序结构更灵活，具有更好的维护性喝扩展性三、命令模式分析（Analysis）

2012-11-23 12:05:48 357

原创设计模式--行为型--命令模式

一、命令模式简介（Brief Introduction）命令模式（Command Pattern）将请求封装为一个对象，从而使你用不同的请求对客户进行参数化，对请求排队或纪录请求日志，以及支持可撤销的操作。二、解决的问题（What To Solve）当需要有撤销或者恢复操作时，可以考虑使用命令模式。三、命令模式分析（Analysis）Command

2012-11-23 10:54:00 411

原创设计模式--行为型--责任链模式

一、职责链简介（Brief Introduction）使多个对象都有机会处理请求，从而避免请求的发送者和接受者之间的耦合关系。将这些对象连成一个链，并沿着这条链传递该请求，直到有一个对象处理它为止二、解决的问题（What To Solve）客户端发出一个请求，会有很多对象都可以来处理这个请求，而且不同的对象的处理逻辑不一样，对于客户端而言，无所谓谁来处理，反正有对象处

2012-11-23 10:27:04 525

原创设计模式--结构型--享元模式

一、享元模式简介（Brief Introduction）享元模式（Flyweight Pattern）,运用共享技术有效支持大量细粒度的对象。享元模式可以避免大量非常相似类的开销。在程序设计中有时需要生成大量细粒度的类实例来表示数据。如果发现这些实例除了几个参数外基本伤都是相同的，有时就能够受大幅度第减少需要实例化的类的数量。如果能把这些参数移到类实例外面，在方法调用时将他们

2012-11-23 09:45:21 431

原创设计模式--结构型--桥接模式

一、桥接模式简介（Brief Introduction）桥接模式（Bridge Pattern），将抽象部分与它的实现部分分离，使的抽象和实现都可以独立地变化。二、解决的问题（What To Solve）当系统有多维角度分类时，而每一种分类又有可能变化，这时考虑使用桥接模式比较合适。三、桥接模式分析（Analysis）Abstraction：抽象部

2012-11-23 09:39:08 343

原创设计模式--结构型--适配器模式

一、适配器模式简介（Brief Introduction）适配器模式，将一个类装换成客户期望的另外一个接口。Adapter模式使的原本由于接口不兼容而不能工作的那些类可以一起工作。二、解决的问题（What To Solve）1、使用第三方组件，而这个组件的接口与目前系统接口不兼容（如方法与系统方法不一致等），可以使用适配器模式解决接口不兼容问题。2、使用早前项目一些有用的类，可以用

2012-11-22 13:58:28 431

原创设计模式--结构型--代理模式

一、代理模式简介（Brief Introduction）代理模式（Proxy Pattern）对其他对象提供一种代理以控制对这个对象的访问。二、解决的问题（What To Solve）1、远程代理远程代理，也就是为了一个对象在不同的地址空间提供局部代表。这样可隐藏一个对象存在与不同地质空间的事实，隐藏对象所在的地址空间。2、虚拟代理虚拟代理，是根

2012-11-21 14:53:36 341

原创设计模式--结构型--组合模式

一、组合模式简介（Brief Introduction）组合模式，将对象组合成树形结构以表示“部分-整体”的层次结构，组合模式使得用户对单个对象和组合对象的使用具有一致性。二、解决的问题（What To Solve）解决整合与部分可以被一致对待问题。三、组合模式分析（Analysis）Component：抽象的组件对象，为组合中的对象声明接口，让客户端可以通过这个接口来访问

2012-11-21 11:57:45 418

原创设计模式--结构型--装饰模式

一、装饰模式简介（Brief Introduction）动态地给一个对象添加一些额外的职责。优点：把类中的装饰功能从类中搬移出去，这样可以简化原有的类。有效地把类的核心功能和装饰功能区分开了。二、解决的问题（What To Solve）已经开发完毕的对象，后期由于业务需要，对旧的对象需要扩展特别多的功能，这时候使用给对象动态地添加新的状态或者行为（即装饰模式）方法，而不是使用子

2012-11-21 11:41:37 455

原创设计模式--结构型--外观模式

一、外观模式简介（Brief Introduction）外观模式，为子系统的一组接口提供一个统一的界面，此模式定义了一个高层接口，这一个高层接口使的子系统更加容易使用。二、解决的问题（What To Solve）1、分离不同的两个层典型的分层例子是三层架构，界面层与业务逻辑层分离，业务逻辑层与数据访问层分类。这样可以为子系统提供统一的界面和接口，降低了系统的耦合性。

2012-11-20 17:00:45 339

原创设计模式--创建型--生成器模式

一、建造者模式简介（Brief Introduction）建造者模式（Builder Pattern），将一个复杂对象的构建与它的表示分离，使的同样的构建过程可以创建不同的表示。建造者模式的优点是：使得建造代码与表示代码分离，由于建造者隐藏了该产品是如何组装的，所以如要改变一个产品的内部表示，只需要再定义一个具体的建造者就可以了。二、解决的问题（What To Solve）主要用于

2012-11-20 16:09:06 337

原创设计模式--创建型--原型模式

一、原型模式简介（Brief Introduction）原型模式(Prototype Pattern)：用原型实例指定创建对象的种类，并通过拷贝这些原型创建新的对象。浅复制与深复制区别：浅复制，被复制的所有变量都还有与原来对象相同的值，而所有的对其他对象的引用都仍然指向原来的对象。深复制，把引用对象的变量指向复制过的新对象，而不是原有的被引用的对象。JAVA中提供了一个Clon

2012-11-20 10:46:10 281

原创设计模式--创建性--单例模式

一、单例模式简介（Bref Introduction）单例模式（Singleton Pattern）,保证一个类只有一个实例，并提供一个访问它的全局访问点。单例模式因为Singleton封装它的唯一实例，它就可以严格地控制客户怎样访问它以及何时访问它。二、解决的问题（What To Solve）当一个类只允许创建一个实例时，可以考虑使用单例模式。三、单例模

2012-11-19 17:32:41 272

原创设计模式--创建型--抽象工厂

一、抽象工厂模式简介（Bref Introduction）抽象工厂模式（Abstract Factory Pattern），提供一个创建一系列相关或者相互依赖对象的接口，而无需制定他们的具体类。优点是：易于交换产品系列，由于具体工厂类在一个应该用中只需要在初始化的时候出现一次，这就使得改变一个应用的具体工厂类变得非常容易，它只需要改变具体工厂即可使用不同的产品配置。抽象工厂的另一个

2012-11-19 16:59:27 337

原创设计模式--创建型--工厂模式

一、工厂模式简介（Bref Introduction）工厂方法模式（Factory Method Pattern），定义一个用于创建对象的接口，让子类决定实例化哪一个类，工厂方法使一个类的实例化延迟到其子类中二、解决的问题（What To Solve）工厂方法模式较简单工厂模式，修改时关闭的，扩展时开放的，完全符合开放-封闭原则。工厂方法使一个类的实例化延迟到其子类

2012-11-19 11:45:42 427

原创设计模式--创建型--简单工厂

一、简单工厂模式简介（Bref Introduction）简单工厂模式（Simple Factory Pattern）的优点是，工厂类中包含了必要的逻辑判断，根据客户端的选择条件动态实例化相关的类，对于客户端来说，去除了与具体产品的依赖二、解决的问题（What To Solve）客户实例化对象时不需要关心该对象是由哪个子类实例化的。三、简单工厂模式分析（

2012-11-19 10:36:57 331

原创设计模式简介

1、什么是设计模式设计模式是对在软件设计过程中重复出现的问题提出了一种比较好的解决方案。正如一位专家所说：设计模式是对程序设计人员经常遇到的设计问题的可再现的解决方案（The Smalltalk Companion）。GOF设计模式通常被认为是其他设计模式的基础，随着业务复杂度的增大，会不断涌现新的设计模式，而这些新的设计模式一般会以GOF模式理论为参照。设计模式系列主要参考《

2012-11-16 11:24:55 465

原创类图中关系

类之间的关系种类： Generalization(泛化)，Dependency(依赖关系)、Association(关联关系)、Aggregation(聚合关系)、Composition(合成关系)。其中Aggregation(聚合关系)、Composition(合成关系)属于Association(关联关系)，是特殊的Association关联关系。Generalization(泛化

2012-11-15 17:19:24 527

转载面向对象设计的基本原则

1、单一职责原则(single responsibility principle ) There should never be more than one reason for a class to change. 所谓单一职责原则，就是对一个类而言，应该仅有一个引起它变化的原因。换句话说，一个类的功能要单一，只做与它相关的事情。在类的设计过程中要按职责进行设

2012-11-15 11:31:01 765

转载浅谈架构模式

软件体系结构通常被称为架构，指可以预制和可重构的软件框架结构。架构尚处在发展期，对于其定义，学术界尚未形成一个统一的意见，而不同角度的视点也会造成软件体系结构的不同理解，以下是一些主流的标准观点。组成派 Mary Shaw在《软件体系结构：一门初露端倪学科的展望》中为“软件架构”给出了非常简明的定义：软件系统的架构将系统描述为计算机组件及组件之间的交互（The architect

2012-11-15 11:28:12 450

转载第六章注解式控制器详解——SpringMVC强大的数据绑定（2）

6.6.2、@RequestParam绑定单个请求参数值@RequestParam用于将请求参数区数据映射到功能处理方法的参数上。public String requestparam1(@RequestParam String username)请求中包含username参数（如/requestparam1?username=zhang），则自动传入。此处要特别注意：右击项目，选择

2012-11-14 15:51:18 1479

转载第六章注解式控制器详解——SpringMVC强大的数据绑定（1）

到目前为止，请求已经能交给我们的处理器进行处理了，接下来的事情是要进行收集数据啦，接下来我们看看我们能从请求中收集到哪些数据，如图6-11：图6-111、@RequestParam绑定单个请求参数值；2、@PathVariable绑定URI模板变量值；3、@CookieValue绑定Cookie数据值4、@RequestHeader绑定请求头数据；5、@ModelVa

2012-11-14 15:48:56 510

转载第六章注解式控制器详解—— Spring MVC 3 生产者、消费者请求限定

6.6.5、生产者、消费者限定6.6.5.1、基本概念首先让我们看一下通过HTTP协议传输的媒体类型及如何表示媒体类型：一、Media Type：互联网媒体类型，一般就是我们所说的MIME类型，用来确定请求的内容类型或响应的内容类型。写道媒体类型格式：type/subtype(;parameter)? type主类型，任意的字符串，如text，如果是*号代表所有；

2012-11-14 14:53:46 1003 1

转载第六章注解式控制器详解——SpringMVC3强大的请求映射规则详解

6.5、请求映射处理器定义好了，那接下来我们应该定义功能处理方法，接收用户请求处理并选择视图进行渲染。首先我们看一下图6-1:http请求信息包含六部分信息：①请求方法，如GET或POST，表示提交的方式；②URL，请求的地址信息；③协议及版本；④请求头信息（包括Cookie信息）；⑤回车换行（CRLF）；⑥请求内容区（即请求的内容或数据），如表单提交时的参数数

2012-11-14 14:36:20 611

转载第六章注解式控制器详解——注解式控制器运行流程及处理器定义

6.1、注解式控制器简介一、Spring2.5之前，我们都是通过实现Controller接口或其实现来定义我们的处理器类。已经@Deprecated。二、Spring2.5引入注解式处理器支持，通过@Controller 和 @RequestMapping注解定义我们的处理器类。并且提供了一组强大的注解：需要通过处理器映射DefaultAnnotationHandlerMapping和

2012-11-14 12:45:22 1579