Hadoop0.21.0编译手册

最新推荐文章于 2020-09-24 18:14:25 发布
最新推荐文章于 2020-09-24 18:14:25 发布
阅读量2.2k 收藏 2
点赞数
分类专栏： hadoop 文章标签： hadoop mapreduce 编译器 build ant 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kirayuan/article/details/6322997
版权

目录

Hadoop0.21.0编译手册... 1

1. 安装环境及基本准备... 3

2. 安装Cygwin. 4

3. 编译common模块... 10

A. 导入工程... 10

B. 修改编译器设置... 10

C. 编译工程... 13

4. Hdfs和mapreduce模块编译... 15

5. 验证编译结果... 17

 

1. 安装环境及基本准备

操作系统：windows xp

IDE: eclipse

JDK：1.6以上版本，需配置好JAVA_HOME以及Path

Ant：下载最新版Ant：http://ant.apache.org/bindownload.cgi解压到任意目录，将ant的bin目录添加到Path中。

简单验证，在命令行下输入java和ant命令能够找到命令image

image

1. 安装Cygwin

说明：Cygwin是在windows系统上模拟linux环境的软件。

A. 下载安装引导文件

http://www.cygwin.com/setup.exe

B. 运行，在弹出框中选择从Internet下载选项

image

C. 选择安装路径

image

D. 选择安装包存放路径

最低0.47元/天 解锁文章
bluekeyv
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop-0.21.0.tar.gz
09-10
Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。 下面列举hadoop主要的一些特点： 　　 1 扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。2 成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。3 高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。4 可靠性（Reliable）：hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。
hadoop 0.21.0 安装包
12-14
hadoop 0.21.0 linux下的安装包
hadoop-0.21.0在windows上的安装
dream8062的专栏
02-22 2939
1.安装jdk（自带了jre），单纯的jre是不够的，MapReduce的编写和Hadoop的编译都依赖于jdk。(注意jdk必须1.6以上，本教程使用的是jdk1.6.0_24) 2、安装cygwin，下载地址 http://www.cygwin.com,本教程采用的是1.7.9      必须选择的安装包： Net Category----openssh和openssl       可选
Hadoop0.21.0源码编译方法
npucloud的专栏
05-12 2745
Author:谢 本文介绍在Linux下使用eclipse编译Hadoop0.21.0源码
hadoop-0.21.0集群环境的搭建
tmtangsu的专栏
10-29 99
[size=medium]最近在看hadoop，成功搭建一个集群的环境说起来很简单，但中间会遇到很多很多的问题，下面就是我的配置全过程以及中间遇到过的问题和解决的办法。 本次部署环境是在VMWare9.0下虚拟了三台rhel6.0,部署1个namenode和2个datanode组成的小集群,VMWare和rhel安装过程不再赘述。 讲一下我在安装过程中遇到的问题，我是先安装完一...
Hadoop-0.21.0分布式集群配置
01-04
Hadoop-0.21.0分布式集群配置.doc
Hadoop2.7.3编译
08-01
Hadoop2.7.3编译,包括所有工具包,照着做就行,亲测可行
Hadoop 0.21.0 Eclipse plugin相关
07-31
NULL 博文链接：https://srz007.iteye.com/blog/1026772
Hadoop集群安装手册
12-29
本文档详细介绍了在Linux环境下Hadoop集群环境安装的每一步骤。
hadoop0.21伪分布式模式的安装及WordCount的运行
程序员的经验分享
03-22 639
因为实验需要，对hadoop-0.21源代码进行了修改。准备将编译好的jar包放入一个hadoop环境中进行实际运行测试。所以，就先安装hadoop0.21伪分布式模式。（PS：hadoop1.x的伪分布式的安装都相同）实验环境 软件 版本 操作系统 ubuntu-14.04.4-desktop-i386 hadoop发布版 hadoop-0.21 jdk jdk1.7
Hadoop 0.21.0 集群配置小记
kalashnicov的专栏
04-22 111
经过两个晚上的努力，完成了一个三台机器的hadoop集群的配置，两台linux+一台windows7的组合，比较怪异，但毕竟是出于学习的目的，所以就尝试了不同的平台。何况hadoop本身就具有跨平台的特性。下面介绍一下整个配置的过程一些关键的地方和一些问题的解决： 使用版本：0.21.0 主要参考资料： [1]http://hadoop.apache.org/common/docs/r0.2...
hadoop-0.21.0 在Windows环境下的部署(2)Hadoop配置
风行天下
07-02 3225
1：下载 本来想传到csdn上的，但是最大只支持70M的文件，还是网上找吧 2：解压在C:\cygwin\hadoop 3：配置 hadoop/conf下需要配置的文件： 1.hadoop-env.sh 修改JDK的路径 export JAVA_HOME # Set Hadoop-specific environment variables here. # The only r
解决Hadoop0.21.0 HDFS/MapReduce编译错误(ivy-resolve-common does not find hadoop-commo)
灰色影子
06-05 444
     最近老大安排，要跟踪HDFS ConcatenateFile的前提条件；于是尝试用ant/ivy编译了一下hdfs，提示ivy找不到hadoop-common组件；于是又编译了一下mapreduce，提示ivy找不到hadoop-comm/hadoop-hdfs；编译hadoop-common，提示编译成功；在编译mapreduce错误如下：   ivy-resolve-common...
Hadoop常见错误及解决办法汇总
热门推荐
Jacob
01-12 3万+
错误一：java.io.IOException: Incompatible clusterIDs 时常出现在namenode重新格式化之后 ' V0 h# C5 a8 o+ ^1 n * w- t  k( ]$ }+ p6 d  G2014-04-29 14:32:53,877 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Ini
HADOOP 编译过程中报错
看了就会
09-24 1004
1.java: 程序包com.sun.javadoc不存在 出现这个错误考虑本地环境中使用的jdk版本问题 出现这个问题后我从jdk11换成了jdk8，这个错误成功跳过 2 Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:3.0.0-M1:enforce (enforce-banned-dependencies) on project hadoop-client-check-test-invariants: S
builder模式
jianjun200607的专栏
12-13 284
在日常的开发过程中，有的时候会遇到new一个很多构造函数的对象，此时最简单的方式就是通过对象的构造函数传参去构造，另外一种就是可以通过builder模式去构建，两种方式分别见如下代码。 传统构造函数方式构建对象以及实例化： private String name; private String height; private int age; private S
hadoop源码编译
peppengliu的专栏
04-22 4844
进度好慢！     最近在学习hadoop，上次安装环境到这次已经经历了好长时间了，以下介绍使用maven编译hadoop源码时遇到的问题。     环境：eclipse+maven     根据官网教程下载源码（http://wiki.apache.org/hadoop/EclipseEnvironment）， git clone git://git.apache.org/hadoo
Hadoop0.21.0部署安装以及mapreduce测试
weixin_30268071的博客
06-20 66
鉴于hadoop的需要。。。但是并不限于此。。。有时候闲输入密码麻烦，也可以用这种办法从一个节点通过ssh进入另一个节点。。。 设要使master进入slave是免密码的，则可以在master（ip为192.168.169.9）中如下操作： 命令：ssh-keygen -t rsa 然后一路回车（该命令不需要进入特定目录） cd进入/root/.ssh/可以看见如下（橙色是新生成的） i...
hadoop源码中的java模式-Builder，建造模式
weixin_33757911的博客
08-06 107
2019独角兽企业重金招聘Python工程师标准>>> ...
hadoop lzo编译过程
最新发布
05-23
下面是Hadoop LZO编译过程的步骤： 1. 下载LZO压缩库源码 可以从LZO的官网下载最新的源码包。 2. 安装编译工具 在编译之前需要安装GCC和make等编译工具，可以使用以下命令安装： ``` sudo apt-get install gcc ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值