Linux 下安装 hadoop-2.7.x

原创 2015年11月21日 15:24:28

本文地址:http://blog.csdn.net/shanglianlm/article/details/49964797
本文以 hadoop-2.7.1 为例。

下载
hadoop-2.7.1

解压tar.gz

tar zxvf hadoop-2.7.1.tar.gz

查看hadoop版本

./bin/hadoop versi

如果出现Error: JAVA_HOME is not set and could not be found.这说明没有JAVA_HOME环境变量没有配置好
那么我们就需要先配置JAVA_HOME环境变量

方法一:

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-i386

不赞成使用这种方法,因为换个shell,你的设置就无效了,因此这种方法仅仅是临时使用,以后要使用的时候又要重新设置,比较麻烦。

方法二:
修改.bashrc文件
如果你需要给某个用户权限使用这些环境变量,你只需要修改其个人用户主目录下的.bash_profile文件就可以了.

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-i3

立即生效并测试

source ~/.bashrc
echo $JAVA_HOM

然后再次查看hadoop的版本信息

./bin/hadoop version

测试Hadoop是否安装成功
在书本2.3.4节中,如果读者对教材看得不是很明白的话,那么可以用下面的内容来检测是否已经安装成功!
因为教材中使用的主类名程序是grep程序,而不是开头说的wordcount程序,二者是不一样的。
单词计数wordcount是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版”Hello World”,单词计数主要完成功能是:统计一系列文本文件中每个单词出现的次数.
好,现在我们进入检测示例:

创建input目录和output目录
input作为输入目录,output目录作为输出目录

mkdir input
mkdir outpu

在input文件夹中创建两个测试文件file1.txt和file2.txt

cd input
echo "hello world" > file1.txt
echo "hello hadoop" > file2.txt

运行

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount input outp

ok,那么我们该如何理解上面的执行语句?请看:

./bin/hadoop jar 执行jar命令

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount所在的jar包
wordcount 程序主类名
input 输入文件夹
output 输出文件夹

查看结果
到output文件夹下,查看结果

cat  part-r-00000

可以这样的结果:

hadoop  1
hello   2
world   1
版权声明:本文为博主原创文章,欢迎转载,转载请注明出处。

hadoop-2.7.x.tar.gz

  • 2017年10月02日 12:49
  • 47B
  • 下载

Hadoop2.7.3 安装

hadoop2.7.3
  • hanl13
  • hanl13
  • 2016年11月11日 11:30
  • 901

hadoop-2.7.0.tar.gz( 64位)

  • 2015年05月28日 10:11
  • 185.54MB
  • 下载

Apache Hadoop 2.7.1正式版发布(稳定版)

Apache Hadoop 2.7.1于美国时间2015年07月06日正式发布,本版本属于稳定版本,是自Hadoop 2.6.0以来又一个稳定版,同时也是Hadoop 2.7.x版本线的第一个稳定版本...
  • mituan1234567
  • mituan1234567
  • 2016年06月26日 17:09
  • 159

Linux 下安装 hadoop-2.7.x

本文地址: 本文以 hadoop-2.7.1 为例。下载 hadoop-2.7.x 解压tar.gztar zxvf hadoop-2.7.1.tar.gz查看hadoop版本./bin/hado...
  • shanglianlm
  • shanglianlm
  • 2015年11月21日 15:24
  • 757

Windows XP下硬盘安装Linux系统

  作为一个Linux新手,第一次安装Linux系统,经过几个小时摸索,终于搞清楚在Windows XP系统下硬盘安装Linux系统的方法,跟大家共享。  第一步:在Window系统下必须存在两个分区...
  • fishfly001
  • fishfly001
  • 2009年06月24日 10:24
  • 12508

Windows下安装Linux双系统

Windows下安装Linux考虑到Linux系统配置深度学习框架较为方便,以及Windows下安装某些框架甚至需要VS2013,对于很多不用VS的同学来说,还要为了配置框架专门下个VS,真的很麻烦。...
  • LeeWanzhi
  • LeeWanzhi
  • 2017年09月18日 15:38
  • 1008

hadoop-native-lib-x64-2.7.3.tar.gz

  • 2017年09月11日 14:31
  • 1.87MB
  • 下载

hadoop 2.7.1 64位库编译

原因: Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的版本。 解决: 一、需要准备的软件: 1.JDK和GCC 不再详述 2.安装mave...
  • fujianfafu
  • fujianfafu
  • 2015年09月19日 20:22
  • 3914

Linux下安装phpstudy

快速搭建Linux系统下的PHP开发环境
  • zndy10
  • zndy10
  • 2016年12月21日 14:14
  • 512
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Linux 下安装 hadoop-2.7.x
举报原因:
原因补充:

(最多只允许输入30个字)