2015年10月_寸辰

原创 Hadoop HDFS copyMergeFromLocal

在谈到HDFS优化中，其中HDFS擅长处理大文件，而对于小文件常用的优化策略有压缩合并。在此列举小文件合并工具类供参考。/*** Get all the files in the directories that match the source file pattern* and merge and sort them to only one file on HDFS is kept.*

2015-10-24 22:49:22 1797

原创单例模式异常抛出

public class FileUtil { private static class SingleFileUtill{ private static FileSystem fs = null; static{ fs = SingleFileUtill.getInstance(); } private st

2015-10-20 14:40:07 1642

转载【JAVA笔记——道】深入Java单例模式

深入Java单例模式在GoF的23种设计模式中，单例模式是比较简单的一种。然而，有时候越是简单的东西越容易出现问题。下面就单例设计模式详细的探讨一下。所谓单例模式，简单来说，就是在整个应用中保证只有一个类的实例存在。就像是Java Web中的application，也就是提供了一个全局变量，用处相当广泛，比如保存全局数据，实现全局性的操作等。最简单的实现首先，能够想到的最简单的实现是，把类的构造

2015-10-19 11:12:09 517

原创 Hadoop学习笔记（九）HDFS架构分析

HDFS设计目标巨大的分布式文件系统:10PB以上，万个以上节点运行于普通硬件：文件多重备份，探测失败和错误恢复优化批处理：数据暴漏位置，以便计算能够挪到数据附近；提供高举和的带宽用户控件可以位于异构的操作系统中在整个集群中使用单一的命名空间数据一致性：写入一次读取多次的访问模型；客户端只能追加已有的文件文件被分割：默认一块64M;每一块复制到不同DataNode智能客户端：客户端能

2015-10-17 20:36:41 978

原创 Hadoop学习笔记（八）MapReduce

MapReduce深入分析Hadoop中MapReduce提供的主要是离线端的数据分析。根据其原理，可以将其分为两个阶段 1. Map 2. Reduce阶段Hadoop在MapReduce设计方面主要有两个重要思想：化整为零，分而治之。数据加工终端化。数据在终端加工要比数据传输后再加工节省资源。输入输出分析InputFormatInputSplit是Hadoop定义的用以传送每个单独的

2015-10-15 15:17:00 848

原创 Hadoop学习笔记（七）

Eclipse项目导入# Hadoop源码导入 #导入hadoop-1.2.1\src目录下 core、hdfs、mapred、example、tools五个文件夹。测试主要使用这几个文件夹，如果有更多需求可以查看其它文档说明。 Eclipse下新建hadoop-test项目将上述文件夹拷贝到/src下调整显示方式将导入的几个部分构建路径导入hadoop-1.2.1\lib\目录下的

2015-10-07 23:10:00 541

原创 Hadoop学习笔记（六）启动Shell分析

Hadoop启动Shell分析使用$HADOOP_HOME/start-all.sh启动Hadoop守护进程查看守护进程启动顺序，并解析相关shell

2015-10-03 22:43:56 1337 1

原创 Hadoop学习笔记（五）日志系统

Hadoop日志简单介绍

2015-10-02 14:10:34 712

原创 Hadoop学习笔记（四）Hadoop伪分布式配置

Hadoop配置文档（二）这一篇是介绍Hadoop伪分布式的配置中的Hadoop的配置。第一部分是Hadoop1.0配置，第二部分是Hadoop2.0的配置，大家可以自己选择查看。 Linux配置可以查看 Hadoop学习笔记（三）Linux环境配置Hadoop1.0配置介绍Hadoop的五个核心守护进程有：NameNode，SecondaryNameNode，DataNode,JobTrac

2015-10-02 13:34:12 766

原创 Hadoop学习笔记（三）Linux环境配置

Hadoop配置文档（一）下载安装下载jdk-7u80-linux-x64.tar.gz sudo tar -xvf jdk-7u80-linux-x64.tar.gz -C /opt/modules/下载hadoop-1.2.1-bin.tar.gz sudo tar -xvf hadoop-1.2.1-bin.tar.gz -C /opt/modules/现在各位小伙伴Hadoop2用的比较

2015-10-01 21:25:36 1205

Contributor -> Committer