Hadoop
文章平均质量分 93
wliufu
这个作者很懒,什么都没留下…
展开
-
Hadoop 0.23.6安装实践1-单机开发版安装
hadoop 0.23开始添加了yarn(MRv2)模块,文件结构也发生了较大的变化。以下就安装部署流程详细记录一下。 安装环境: 系统:Ubuntu 12.10 hadoop:0.23.6 jdk:sun 1.7.0_21 安装步骤: 一.安装JDK 安装 orcale jdk,并且配置环境以及设置成默认(略) 检查jdk是否正确安装和配置 在主目录下执行java -v...原创 2013-04-18 22:45:46 · 97 阅读 · 0 评论 -
Hadoop 0.23.6安装实践1-单机开发版安装
hadoop 0.23开始添加了yarn(MRv2)模块,文件结构也发生了较大的变化。以下就安装部署流程详细记录一下。 安装环境: 系统:Ubuntu 12.10 hadoop:0.23.6 jdk:sun 1.7.0_21 安装步骤: 一.安装JDK 安装 orcale jdk,并且配置环境以及设置成默认(略) 检查jdk是否正确安装和配置 在主目录下执行java -v...2013-04-20 15:43:49 · 95 阅读 · 0 评论 -
编译hadoop-0.20.2的eclipse-plugin插件
hadoop-0.20.2自带的eclipse-plugin对版本在3.3以上的eclipse不起作用,在eclipse hadoop开发环境配置中,我用的是第三方编译的eclipse插件,但它也有可能在你的电脑上不起作用,所以自己会编译hadoop-0.20.2的eclipse-plugin很有必要。 在编译eclipse-plugin之前,需要安装apache-ant,apache-...原创 2013-04-21 23:32:08 · 106 阅读 · 0 评论 -
MapReduce数据流
转载自:http://www.open-open.com/lib/view/open1329385847468.html Hadoop的核心组件在一起工作时如下图所示: 图4.4高层MapReduce工作流水线 MapReduce的输入一般来自HDFS中的文件,这些文件分布存储在集群内的节点上。运行一个MapReduce程序会在集群的许多节点甚至所有节点上运行mappi...原创 2013-04-22 21:54:06 · 138 阅读 · 0 评论 -
Hadoop MapReduce开发环境搭建
开发MR程序一般需要用到JDK,Eclipse,Hadoop集群,网上已经有不少的博文已经有这方面的记载,但是还是想把整个过程好好的整理和记录下来。 一.基于Windows 7 平台搭建hadoop集群及MR开发环境 需要安装的软件及版本: OS:win 7 shell支持:cygwin JDK:1.6.0_38 hadoop:0.20.2 eclipse:Juno Servi...原创 2013-04-24 00:56:39 · 295 阅读 · 0 评论 -
Ubuntu 11.4 安装 Cloudera CDH3
Part I Hadoop Click one of the following:this link for a Maverick system. 安装一个最近的吧 Install the package. Do one of the following: Choose Open with in the download window to use the package manag...原创 2013-05-01 01:45:02 · 91 阅读 · 0 评论 -
cdh3u4 编译eclipse-plugin(转载)
使用的是CDH3u4的hadoop,和单独的hadoop差不多,但是参考网上的教程的时候遇到的问题还是很多的,所以就记录下来。 1.添加工程 在Eclipse中Import导入已有的工程目录:\src\contrib\eclipse-plugin\ 2.添加build-contrib.xml 直接把\src\contrib\build-contrib.xml拖到工程中就可以了,注意...原创 2013-05-08 13:03:41 · 134 阅读 · 0 评论