hadoop
文章平均质量分 87
iteye_10664
这个作者很懒,什么都没留下…
展开
-
ubuntu-10.10平台搭建hadoop-0.20.2分布式系统
实验平台:Ubuntu 10.10,Hadoop0.20.2,JDK1.6 step 1. ssh的安装设置由于Hadoop用ssh 通信,因此先进行免密码登录设定, root$ apt-get install ssh root$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsaroot$ cat ~/.ssh/id_rsa.pub &g...2010-11-13 14:59:07 · 96 阅读 · 0 评论 -
eclipse平台编译Hadoop源代码
1. 下载Hadoop源代码Hadoop 各成员源代码下载地址:http://svn.apache.org/repos/asf/hadoop,请使用SVN下载,在SVN浏览器中将trunk目录下的源代码check-out 出来即可。请注意只check-out出SVN 上的trunk 目录下的内容,如:http://svn.apache.org/repos/asf/hadoop/common/tru...原创 2010-11-14 22:25:10 · 105 阅读 · 0 评论 -
Mapreduce OnlineEvaluation MapReduce在线测试平台
转载:http://delove2.iteye.com/blog/809803我们搭建了一个公共的Hadoop MapReduce在线测试平台,网址:cloudcomputing.ruc.edu.cn. 现在开放注册。下面我们详细介绍这个测试平台。 一.平台简介 欢迎来到云计算的世界,欢迎来到MapReduce OnlineEvaluation! 这是一个可以自动运行您提交的Mapreduce...原创 2010-11-14 14:50:05 · 431 阅读 · 0 评论 -
hadoop安装配置 ubuntu9.10 hadoop0.20.2
转载:http://delove2.iteye.com/blog/809800 Hadoop是一个易于安装易于使用的系统,他既适用于云计算的新人学习,也适用于对云计算已经有一定研究的人深入学习(包括网格计算,并行计算等等)。Hadoop源于nutch,hadoop的两位创始人想开发一款开源的网络搜索引擎,但是在管理大量计算机时遇到了问题。后来google发表了关于GFS与MapReduce...原创 2010-11-14 14:47:17 · 67 阅读 · 0 评论 -
用 Hadoop 进行分布式数据处理
简介: 本文是讨论 Hadoop 的系列中的第一篇。本文介绍 Hadoop 框架,包括 Hadoop 文件系统 (HDFS) 等基本元素和常用的节点类型。学习如何安装和配置单节点 Hadoop 集群,然后研究 MapReduce 应用程序。最后,学习使用核心 Web 界面监视和管理 Hadoop 的方法。 <!--<p class="ibm-no-print">&...原创 2010-11-13 22:36:01 · 572 阅读 · 0 评论 -
使用 Linux 和 Hadoop 进行分布式计算
简介: 人们每天都依赖搜索引擎以从 Internet 的海量数据中找到特定的内容,但您曾经想过这些搜索是如何执行的吗?一种方法是 Apache 的 Hadoop,它是一个能够对海量数据进行分布式处理的软件框架。Hadoop 的一个应用是并行索引 Internet Web 页面。Hadoop 是一个受到 Yahoo!、Google 和 IBM 等公司支持的 Apache 项目。本文将介绍 Hadoo...原创 2010-11-13 22:33:37 · 102 阅读 · 0 评论 -
基于Eclipse的Hadoop应用开发环境的配置
基于Eclipse的Hadoop应用开发环境的配置配置好了Hadoop运行环境,下一步就要配置,开发环境了。实际上开发环境很好配置,网上很多的帖子,都指向了IBM提供的Hadoop开发工具,这个工具很好用。大家打开这个网址,很容易就能Step by step搞定,http://www.alphaworks.ibm.com/tech/mapreducetools。但是细心的读者不难发现,这个...原创 2010-11-13 16:04:44 · 103 阅读 · 0 评论 -
基于hadoop 0.19.0 + jdk 1.6 + eclipse 3.3.2 开发环境配置
今天配置了一下hadoop0.19.0开发环境,1.首先安装JDK1.6(因为hadoop 0.19.0 是需要使用 jdk1.6 ),安装Eclipse 3.3.22.修改eclipse.ini增加粗体:-showsplashorg.eclipse.platform--launcher.XXMaxPermSize256m-vmC:\Program Files\Java\jdk1.6.0_12\b...原创 2010-11-13 16:02:58 · 89 阅读 · 0 评论 -
Ubuntu 10.10下安装eclipse-jee-helios-linux-gtk.tar.gz
Eclipse是Java开发的最佳环境,支持windows,linux等多个OS平台,Ubuntu作为极佳的操作系统平台,好马配好鞍,安装Eclipse非常方便,下面将安装eclipse IDE的步骤分享一下。1,从eclipse官方网站上下载最新的tar.gz文件,链接http://www.eclipse.org/downloads/,这里面选择Linux 32 bit版本,下...2010-11-13 15:56:53 · 253 阅读 · 0 评论 -
Hadoop-0.20.2安装部署二
本文主要是以安装和使用hadoop-0.20.2为例,指出在部署Hadoop的时候容易遇到的问题以及如何解决。硬件环境共有3台机器,均使用的Ubuntu 10.10系统,Java使用的是jdk1.6.0。IP配置如下:dbrg-1:202.197.18.72dbrg-2:202.197.18.73dbrg-3:202.197.18.74这里有一点需要强调的就是,务必要确保每台机器的...原创 2010-11-13 15:28:17 · 75 阅读 · 0 评论 -
Hadoop平台优化综述
1. 概述随着企业要处理的数据量越来越大,MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现,由于其良好的扩展性和容错性,已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台,虽然其应用价值已得到大家认可,但仍存在很多问题,以下是主要几个:(1) Namenode/jobtracker单点故障。 Hadoop采用的是master...原创 2012-02-25 08:15:54 · 152 阅读 · 0 评论