hadoop权威指南笔记
鹅
这个作者很懒,什么都没留下…
展开
-
Windows平台上安装Hadoop-0.20.203.0版本方法
目的 这篇文档的目的旨在说明在Windows平台上、利用Cygwin模拟Linux环境下,完成单机上Hadoop-0.20.203.0版的安装与使用。同时也旨在解决你在安装hadoop过程中出现JAVA_HOME is not set或是bin/java No such file or directory错误的问题。先决条件 1支持平台。Win32平台是作为开发平台支持的。由于转载 2014-07-30 20:44:50 · 792 阅读 · 0 评论 -
MapReduce的输入输出格式
默认的mapper是IdentityMapper,默认的reducer是IdentityReducer,它们将输入的键和值原封不动地写到输出中。默认的partitioner是HashPartitinoer,它根据每条记录的键进行哈希操作来分区。 输入文件:文件是MapReduce任务的数据的初始存储地。正常情况下,输入文件一般是存在HDFS里。这些文件的格式可以是任意的;我转载 2014-09-23 19:37:45 · 784 阅读 · 0 评论 -
使用MiniCluster快速配置Hadoop开发环境
前年的时候用过Hadoop,那时候各种资料缺乏,各种摸索以后写出了能用的东西,然后打包仍服务器就再也没有管过。效率什么的谈不上,但是一直能用。当时花费了很多时间搭建一个环境,各种xml配置,然后引入依赖包,写好以后打包然后命令行测试一下,想想就耽误事儿。最近需要改动一下之前的程序,然后就纠结了。Hadoop已经2.3.0了,从MR换到了Yarn,虽然老版本兼容,不过还是随大流升级把。版转载 2014-09-23 20:18:42 · 1703 阅读 · 0 评论 -
IDL接口定义语言教程
也叫“接口描述语言”(Interface Description Language),是一个描述软件组件接口的语言规范。 IDL用中立语言的方式进行描述,能使软件组件(不同语言编写的)间相互通信。 IDL通常用于RPC(Remote Procedure Call,远程过程调用)软件。 IDL提供了一个“桥”来连接不同的系统。 基于IDL的软件系统包括: Sun公司的ONCRPC,转载 2014-09-03 19:22:09 · 10298 阅读 · 1 评论 -
OMG 接口定义语言
IDL是一种规范语言。它允许我们从实现中剥离对象的规范(如何与它交互)。这是一个约定:“客户机女士,如果您要调用这个方法,请传送这些参数,然后我,服务器先生,将把这个字符串数组返回给您。”使用这个接口的客户机程序员不知道接口背后的实现细节。OMG IDL 看上去很像 C语言。这就很容易将这两种语言以及它们的关键字做比较。但是,这种相似性只流于表面。每种语言的目的是完全不同的。我们在讨论这种语言转载 2014-09-03 19:13:47 · 2159 阅读 · 0 评论 -
Hprof使用及在Hadoop中MR任务使用
J2SE中提供了一个简单的命令行工具来对java程序的cpu和heap进行 profiling,叫做HPROF。HPROF实际上是JVM中的一个native的库,它会在JVM启动的时候通过命令行参数来动态加载,并成为 JVM进程的一部分。若要在java进程启动的时候使用HPROF,用户可以通过各种命令行参数类型来使用HPROF对java进程的heap或者 (和)cpu进行profiling的功转载 2014-10-06 19:16:25 · 473 阅读 · 0 评论