- 博客(19)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 MapReduce编程实战之“I/O”
本篇通过对MapReduce模型的分析，加深对MapReduce模型的了解；并介绍MapReduc编程模型的常用输入格式和输出格式，在这些常用格式之外，我们可以扩展自己的输入格式，比如：如果我们需要把Mongo数据作为输入，可以通过扩展InputFormat、InputSplit的方式实现。
2014-04-24 11:42:27
1595
原创 MapReduce编程实战之“工作原理”
本篇简单剖析MapReduce1.0和MapReduce2.0(yarn)的工作机制。Job/Task的优化执行，及其错误处理机制。
2014-04-23 22:46:57
1103
原创 Hadoop I/O
Hadoop自带一套原子操作用于数据I/O。其中一些技术，如数据完整性保持和压缩，对于处理多达数个TB的数据时，特别值得关注。本篇的内容主要有以下几点：（1）通过检验和保证数据完整性（2）Hadoop压缩（3）Hadoop序列化-Writable（4）Hadoop顺序文件-即文件序列化。
2014-04-20 17:22:33
2192
原创 MapReduce编程实战之“调试”和"调优"
在上一篇的“初识”环节，我们已经在本地和Hadoop集群中，成功的运行了几个MapReduce程序，对MapReduce编程，已经有了最初的理解。在本篇文章中，我们对MapReduce编程进行进一步的了解，包括：配置API、辅助类、调试手段、调优手段。
2014-04-19 23:27:21
3424
原创 HDFS--Hadoop分布式文件系统
HDFS，全称是Hadoop Distributed Filesystem，是一个分布式的文件系统，本篇通过Java API演示对HDFS文件系统的常用操作，并简单介绍HDFS的原理、设计特性、注意问题及常用操作。
2014-04-18 19:36:35
2113
原创 MapReduce编程实战之“初识”
MapReduce是Hadoop（这种大数据处理生态环境）的编程模型，既然称为模型，则意味着它有固定的形式，MapReduce编程模型，就是Hadoop生态环境进行数据分析处理的固定的编程形式。本文通过实例，演示Java和Ruby写的MapReduce代码。
2014-04-16 00:12:37
3545
1
原创 Hadoop2.2.0集群在RHEL6.2下的安装实战
本文介绍了一个Hadoop2.2.0集群的搭建过程，在2台4G内存的酷睿双核PC机上，使用VMWare WorkStation虚拟了4个RHEL6.2（1G内存、单核CPU、10G硬盘），总计用10个小时的时间，完成虚拟机制作和Hadoop建立过程，总体比较顺利。集群搭建过程中，最容易遇到的问题就是DataNode不启动（或者在NameNode中看不到），多看日志，总能解决:)
2014-04-13 14:14:18
2242
原创 ZooKeeper--一个具有高可用性的高性能协调服务
ZooKeeper是一个具有高可用性的高性能协调服务。ZooKeeper主要用来解决分布式系统中的“部分失败”问题。本文提供两个代码例子，分别是：Java开发的znode操作代码和配置服务代码。
2014-04-12 12:24:47
3732
原创 设计模式学习笔记--策略(Strategy)模式
策略模式，其用意是针对一组算法，将每一个算法封装到具有共同接口的独立的类中，从而使得它们可以相互替换。策略模式使得算法可以在不影响到客户端的情况下发生变化。
2014-04-12 09:57:14
1244
原创 设计模式学习笔记--不变(Immutable)模式
一个对象的状态在对象创建之后就不再变化，这就是所谓的不变模式（Immutable Pattern）。不变模式缺少改变自身状态的行为，因此它是关于行为的，所以把它划归为行为模式。
2014-04-11 22:35:45
1929
原创 设计模式学习笔记--模板方法(Template Method)模式
模板方法模式：准备一个抽象类，将部分逻辑以具体方法以及具体构造的形式实现，然后声明一些抽象方法来迫使子类实现剩余的逻辑。不同的子类可以以不同的方法实现这些抽象的方法，从而对剩余的逻辑有不同的实现。这就是模板方法模式的用意。
2014-04-11 11:05:11
1953
原创 设计模式学习笔记--观察者(Observer)模式
观察者模式定义了一种一对多的依赖关系，让多个观察者对象同事监听某一个主题对象。这个主题对象在状态上发生变化时，会通知所有观察者对象，使它们能够自动更新。
2014-04-09 23:29:40
1380
原创 设计模式学习笔记--桥梁(Bridge)模式
桥梁模式的用意是“将抽象化（Abstraction）与实现化（Implementation）解耦，使得二者可以独立地变化”。桥梁模式的目的是为了降低耦合。
2014-04-07 16:51:55
1677
原创 设计模式学习笔记--门面(Facade)模式
外部与一个子系统的通信必须通过一个统一的门面（Facade）对象进行，这就是门面模式。门面模式提供一个高层次的接口，使得子系统更 易于使用。在基于SOA的框架设计中，各个子系统之间的接口都可以看做是门面模式。
2014-04-07 15:48:34
1465
原创 设计模式学习笔记--享元(Flyweight)模式
享元模式以共享的方式高效地支持大量的细粒度对象。享元模式分为单纯享元模式和复合享元模式。享元模式不是一种常用的模式，我个人不曾记得哪个项目真正使用过享元模式。
2014-04-07 13:56:58
1768
原创 设计模式学习笔记--代理(Proxy)模式
代理模式给某一个对象提供一个代理对象，并由代理对象控制对原对象的引用。关于代理模式，日常开发过程中的使用场景还是很多的。比如调用Web Service，我们总会自动或手动生成客户端的代理类，这是远程代理模式；对于登录，也总可以使用保护代理和智能引用代理。
2014-04-07 09:55:16
5564
1
原创 设计模式学习笔记--设计模式在Java I/O中的应用(装饰模式和适配器模式)
在Java 语言I/O库的设计中，使用了两个结构模式，即装饰模式和适配器模式。本篇围绕这两个模式讨论Java I/O库的设计。
2014-04-06 17:43:13
7484
1
原创 设计模式学习笔记--装饰(Decorator)模式
装饰模式又名包装（Wrapper）模式。装饰模式以对客户端透明的方式扩展对象的功能，是继承关系的一个替代方案。装饰模式使用原来被装饰的类的一个子类的实例，把客户端的调用委派到被装饰类。装饰模式的关键在于这种扩展是完全透明的。JDK的IO的实现是装饰模式的典型应用。
2014-04-04 20:44:23
1220
原创 设计模式学习笔记--合成(Composite)模式
合成（Composite）模式，有时又叫做部分-整体（Part-Whole）模式。合成模式将对象组织到树结构中，可以用来描述整体与部分的关系。合成模式可以使客户端将单纯元素与复合元素同等看待。合成模式的典型应用是分类树，权限树等场景。
2014-04-02 22:44:50
2144
编译过的hadoop-core-1.0.4.jar，可以在本地模拟MapReduce
2014-04-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人