2016年05月_杯底囚人

12月 11月 10月 06月 05月 04月 03月

原创 hadoop Federation（联邦）简介

在hadoop1.x中HDFS的架构文件的存储是放在块上的（Block Storage）文件的元数据是放在namenode上的，只有一个Namespace（命名空间）。随着HDFS的数据越来越多，单个namenode的资源使用必然会达到上限，而且namenode的负载能力也会越来越高，限制HDFS的性能。hdfs主要有两层架构： 1.命名空间（namespace）由目录、文件、块组成。

2016-05-31 20:51:13 13542

原创 hive的学习笔记2-hive源码的编译

hive架构hive的用户提交SQL的方式sql提交以后经过三个步骤hive 架构hive中支持的数据类型简单的数据类型复杂的数据类型hive的数据抽象hive的亮点hive的源码编译maven的安装修改maven的配置文件编译hive的源码hive架构hive的用户（提交SQL的方式）1.Cli（命令行） Cli（hive shell） 2.JDBC/ODBC（面向应用

2016-05-30 22:02:10 6882 1

转载 Hive的文件格式

本文转载自：http://www.cnblogs.com/Richardzhu/p/3613661.htmlhive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；SEQUE

2016-05-29 15:55:40 503

原创设计模式之适配器模式

定义定义：适配器模式将一个类的借楼转换成客户期望的另一个接口，使得原来由于接口不兼容而不能一起工作的那些类可以在一起工作。组合方式使用适配器比如想要给笔记本供电，笔记本的插座是三项插口，但是只有二相电流，所以需要一个将二相电流转化为三相电流的适配器。新建一个三相插座接口/** * 三口插座接口 * @author Administrator * */public interface T

2016-05-27 21:58:15 550

原创设计模式之代理模式

1.代理模式简介（Proxy）1.1代理模式定义为其他对象提供一种代理以控制对这个对象的访问，代理对象起到中介作用，可去掉功能或者增加额外的服务。1.2代理模式的分类远程代理：为不同的地理对象提供局域网代表对象虚拟代理：根据需要将资源消耗很大的对象进行延迟加载，真正需要的时候再进行创建。（如访问网页时图片的加载，可先用别的图片进行代替）保护代理：控制对一个对象的访问权限。（如论

2016-05-26 15:20:03 818