2017年06月_零度anngle

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 23种设计模式(2)-建造者模式

建造者模式一、概念 1、产品的内部表象 2、对象性质的建造二、建造模式的结构三、建造模式分成两个很重要的部分四、使用场景五、使用建造模式构建复杂对象一、概念　建造模式是对象的创建模式。建造模式可以将一个产品的内部表象（internal representation）与产品的生产过程分割开来，从而可以

2017-06-22 15:22:44 579

转载 23种设计模式(1)-单例模式

单例模式一、特点：二．分类 (一)、懒汉式单例 (二)、双重检查锁定 (三)、静态(类级)内部类 (四)、饿汉式单例 (五)、单例和枚举三、饿汉式和懒汉式区别一、特点：　　1、单例类只能有一个实例。　　2、单例类必须自己创建自己的唯一实例。　　3、单例类必须给所有其他对象提供这一实例。　　单例模式确保

2017-06-22 11:22:09 323

转载 MapReduce工作原理与开发实践

下面我一张图,便于理解MapReduce得整个工作原理下面对上面出现的一些名词进行介绍ResourceManager：是YARN资源控制框架的中心模块，负责集群中所有的资源的统一管理和分配。它接收来自NM(NodeManager)的汇报，建立AM，并将资源派送给AM(ApplicationMaster)。NodeManager:简称NM，NodeManager是

2017-06-22 09:45:33 625

转载 Spark本地开发与远程调试环境搭建

先决条件已安装好Spark集群，本例子中使用的是spark-1.5.0. 安装方法参见：http://blog.csdn.net/lovehuangjiaju/article/details/48494737已经安装好Intellij IDEA，本例中使用的是Intellij IDEA 14.1.4，具体安装方法参见：http://blog.csdn.net/lovehuangjiaju/

2017-06-21 15:24:31 6979 3

转载 Spark运行原理

主要内容Spark运行方式Spark运行原理解析本节内容及部分图片来自： http://blog.csdn.net/book_mmicky/article/details/25714419http://blog.csdn.net/yirenboy/article/details/47441465这两篇文件对Spark的运行架构原理进行了比较深入的讲解，写得非常好，建

2017-06-19 15:39:38 880

转载 Hadoop2.X Yarn框架原理及运作机制

.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。1

2017-06-16 09:25:19 4298

转载 Hadoop2.X及Spark 1.5.0集群搭建

主要内容操作系统环境准备Hadoop 2.4.1集群搭建Spark 1.5.0 集群部署注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经过测试），经本人测试在ubuntu 10.04 操作系统上可以顺利成功搭

2017-06-15 16:14:13 863

虚拟机里设置上网方式为NAT最方便，因为无需手动设置即可上网，但是NAT的上网方式默认是DHCP动态分配IP的，这意味着你每次重启虚拟机都有不一样的IP地址，这对一般用户没任何问题。但是如果你的机器有特殊用处，比如作为服务器，需要IP地址信息，亦或者像我一样，作为一个云计算的节点，其IP都是在配置文件里配置好的，如果每次重启系统都要跑过去修改下配置文件里的IP，那简直是不可取的做法，因此为虚拟机设

2017-06-14 10:57:47 499

转载 Java自定义注解

Java注解提供了关于代码的一些信息，但并不直接作用于它所注解的代码内容。在这个教程当中，我们将学习Java的注解，如何定制注解，注解的使用以及如何通过反射解析注解。Java1.5引入了注解，当前许多java框架中大量使用注解，如Hibernate、Jersey、Spring。注解作为程序的元数据嵌入到程序当中。注解可以被一些解析工具或者是编译工具进行解析。我们也可以声明注解在编译过程或执

2017-06-13 11:05:25 490

转载一致性哈希算法(consistent hashing) 浅析

一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。一致性hash算法提出了在动态变化的Cache环境中，判定哈希算法好坏的四个定义：1、平衡性(B

2017-06-13 09:38:31 441

转载 HTTP安全通信HTTPS：SSL协议

1. HTTPS概念 1）简介 HTTPS（全称：Hypertext Transfer Protocol over Secure Socket Layer），是以安全为目标的HTTP通道，简单讲是HTTP的安全版。即HTTP下加入SSL层，HTTPS的安全基础是SSL，因此加密的详细内容就需要SSL。这个系统的最初研发由网景公司进行，提供了身份验证与加密通

2017-06-12 16:17:12 4344

转载 HTTPS原理与应用

第一部分：HTTPS原理一、什么是HTTPS在说HTTPS之前先说说什么是HTTP，HTTP就是我们平时浏览网页时候使用的一种协议。HTTP协议传输的数据都是未加密的，也就是明文的，因此使用HTTP协议传输隐私信息非常不安全。为了保证这些隐私数据能加密传输，于是网景公司设计了SSL（Secure Sockets Layer）协议用于对HTTP协议传输的数据进行加密，从而就诞生了HTTPS。

2017-06-12 15:49:06 916

转载 Ubuntu之JDK安装

1.从官网（http://www.oracle.com/technetwork/java/javase/downloads/index.html）下载安装文件(如：jdk-6u45-linux-x64.bin)。复制该文件到/usr/lib/java下，如果没有java文件夹，则创建它。 sudo mkdir -p /usr/lib/java安装文件默认是没有执行权限的，所以首先

2017-06-09 15:34:08 388

转载 ubuntu下环境变量详解 bashrc, profile, environment

在Ubuntu中有如下几个文件可以设置环境变量 /etc/profile:在登录时,操作系统定制用户环境时使用的第一个文件,此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行. /etc/environment:在登录时操作系统使用的第二个文件,系统在读取你自己的profile前,设置环境文件的环境变量 ~/.profile:在登录时用到的第三个文件是.p

2017-06-09 11:07:39 6939

转载非常详细的Docker学习教程

一、Docker 简介 Docker 两个主要部件： Docker: 开源的容器虚拟化平台 Docker Hub: 用于分享、管理 Docker 容器的 Docker SaaS 平台 -- Docker Hub Docker 使用客户端-服务器 (C/S) 架构模式。Docker 客户端会与 Docker 守护进程进行通信。Docker 守护进程会处理复杂繁重的任务，例如建立、

2017-06-08 17:50:05 46838 9

转载 Ubuntu 14.04下安装Docker图文教程(二)

4.1 构建我们自己的映像构建Docker映像有两种方法： •通过docker commit（提交）命令 •通过docker build（构建）命令以及Docker文件（Dockerfile）目前并不推荐docker提交方法，因为借助Docker文件进行构建要灵活得多、强大得多，但为了力求完整起见，我会向你演示提交方法。之后，我将重点介绍推荐的Docker映

2017-06-08 15:22:41 1275

转载 Ubuntu 14.04下安装Docker图文教程(一)

当前，完全硬件虚拟化技术（KVM、Xen、Hyper-V 等）能在一个物理主机上很好地运行多个互相独立的操作系统，但这也带来一些问题：性能不佳，资源浪费，系统反应迟缓等。有时候对用户来说，完全的硬件虚拟化并不是最好的选择。一种替代方案是使用轻量级虚拟化技术 —— 所谓的 LinuX Container 容器 (LXC)，它提供的是系统级虚拟化。与跑虚拟机相比，LXC 可以在一个轻量级沙箱

2017-06-08 14:22:34 2230

转载 Java8内存模型—从永久代(PermGen)到元空间(Metaspace)

一、JVM 内存模型　　根据 JVM 规范，JVM 内存共分为虚拟机栈、堆、方法区、程序计数器、本地方法栈五个部分。　　1、虚拟机栈：每个线程有一个私有的栈，随着线程的创建而创建。栈里面存着的是一种叫“栈帧”的东西，每个方法会创建一个栈帧，栈帧中存放了局部变量表（基本数据类型和对象引用）、操作数栈、方法出口等信息。栈的大小可以固定也可以动态扩展。当栈调用深度大于JVM所允许的范围，会抛

2017-06-08 09:42:24 1394

转载 HttpClient通过Post方式发送Json数据

服务器用的是Springmvc，接口内容：[java] view plain copy print?@ResponseBody @RequestMapping(value="/order",method=RequestMethod.POST) public boolean order(HttpServletRequest requ

2017-06-08 09:39:28 7538

转载 spring和springMVC父子容器的原理

要想很好理解这三个上下文的关系，需要先熟悉spring是怎样在web容器中启动起来的。spring的启动过程其实就是其IoC容器的启动过程，对于web程序，IoC容器启动过程即是建立上下文的过程。spring的启动过程：首先，对于一个web应用，其部署在web容器中，web容器提供其一个全局的上下文环境，这个上下文就是ServletContext，其为后面的spring IoC

2017-06-07 09:17:55 625 3

转载使用RestTemplate访问restful服务

一. 什么是RestTemplate传统情况下在java代码里访问restful服务，一般使用Apache的HttpClient。不过此种方法使用起来太过繁琐。spring提供了一种简单便捷的模板类来进行操作，这就是RestTemplate。二.一个简单的例子。定义一个简单的restful接口@RestControllerpublic class TestContro

2017-06-06 11:23:22 3363 2

转载 Spring提供RestTemplate用于访问Rest服务的客户端实践

什么是RestTemplate？ RestTemplate是Spring提供的用于访问Rest服务的客户端，RestTemplate提供了多种便捷访问远程Http服务的方法，能够大大提高客户端的编写效率。调用RestTemplate的默认构造函数，RestTemplate对象在底层通过使用java.net包下的实现创建HTTP 请求，可以通过使用ClientHttpRequestFac

2017-06-06 09:22:43 7519