ubuntu14.04 Hadoop单机开发环境搭建MapReduce项目

最新推荐文章于 2020-12-06 18:02:12 发布

weixin_30813225

最新推荐文章于 2020-12-06 18:02:12 发布

阅读量138

点赞数

文章标签：大数据 java git

原文链接：http://www.cnblogs.com/badboyf/p/6225932.html

版权

Hadoop官网：http://hadoop.apache.org/

目前最新的版本是Hadoop 3.0.0-alpha1
前提：
java 1.6 版本以上

首先从官网下载压缩包(hadoop-3.0.0-alpha1.tar.gz )。
配置环境变量：
JAVA_HOME(如果是做的java开发这个肯定已经配置好了)
打开一个终端：

vim ~/.bashrc

在最后加上：

export HADOOP_INSTALL=/home/ito/software/hadoop-3.0.0
export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

sbin目录是Hadoop2.0之前的版本需要配置的。

$ source ~/.bashrc

查看是否配置成功

$ hadoop version
Hadoop 3.0.0-alpha1
Source code repository https://git-wip-us.apache.org/repos/asf/hadoop.git -r a990d2ebcd6de5d7dc2d3684930759b0f0ea4dc3
Compiled by andrew on 2016-08-30T07:02Z
Compiled with protoc 2.5.0
From source with checksum f3a9644139eac17acbb91bfce7f68e2
This command was run using /home/ito/software/hadoop-3.0.0/share/hadoop/common/hadoop-common-3.0.0-alpha1.jar

看见下面的输出即配置成功。

单机模式下，这就可以了，接下来就是创建mapreduce工程。在eclipse创建Java Project，导jar包。jar包名字中包含test字符串的都是自己测试用的，source下的都是源码，这两种jar包如果不需要可以不用拷。
mapreduce项目需要导入的jar包：

hadoop-2.7.2/share/hadoop/mapreduce下的所有jar包（子文件夹下的jar包不用）
hadoop-2.7.2/share/hadoop/common下的hadoop-common-2.7.2.jar
hadoop-2.7.2/share/hadoop/common/lib 所有的jar包

转载于:https://www.cnblogs.com/badboyf/p/6225932.html