Linux 下安装 hadoop-2.7.x

原创 2015年11月21日 15:24:28

本文地址:http://blog.csdn.net/shanglianlm/article/details/49964797
本文以 hadoop-2.7.1 为例。

下载
hadoop-2.7.1

解压tar.gz

tar zxvf hadoop-2.7.1.tar.gz

查看hadoop版本

./bin/hadoop versi

如果出现Error: JAVA_HOME is not set and could not be found.这说明没有JAVA_HOME环境变量没有配置好
那么我们就需要先配置JAVA_HOME环境变量

方法一:

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-i386

不赞成使用这种方法,因为换个shell,你的设置就无效了,因此这种方法仅仅是临时使用,以后要使用的时候又要重新设置,比较麻烦。

方法二:
修改.bashrc文件
如果你需要给某个用户权限使用这些环境变量,你只需要修改其个人用户主目录下的.bash_profile文件就可以了.

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-i3

立即生效并测试

source ~/.bashrc
echo $JAVA_HOM

然后再次查看hadoop的版本信息

./bin/hadoop version

测试Hadoop是否安装成功
在书本2.3.4节中,如果读者对教材看得不是很明白的话,那么可以用下面的内容来检测是否已经安装成功!
因为教材中使用的主类名程序是grep程序,而不是开头说的wordcount程序,二者是不一样的。
单词计数wordcount是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版”Hello World”,单词计数主要完成功能是:统计一系列文本文件中每个单词出现的次数.
好,现在我们进入检测示例:

创建input目录和output目录
input作为输入目录,output目录作为输出目录

mkdir input
mkdir outpu

在input文件夹中创建两个测试文件file1.txt和file2.txt

cd input
echo "hello world" > file1.txt
echo "hello hadoop" > file2.txt

运行

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount input outp

ok,那么我们该如何理解上面的执行语句?请看:

./bin/hadoop jar 执行jar命令

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount所在的jar包
wordcount 程序主类名
input 输入文件夹
output 输出文件夹

查看结果
到output文件夹下,查看结果

cat  part-r-00000

可以这样的结果:

hadoop  1
hello   2
world   1
版权声明:本文为博主原创文章,欢迎转载,转载请注明出处。

相关文章推荐

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载

hadoop2.7.x安装与配置

1.虚拟机 master 192.168.109.200 node1 192.168.109.201 node2 192.168.109.202 2.安装jdk1.8,下载jdk1.8(密码: 7sw...

分布式安装Hadoop2.7(适用于2.x版本)

原文出自:http://www.aboutyun.com/thread-7684-1-1.html 写的非常完整,特此转载,另外补充一些锦上添花的东西如pssh。 准备工作: 1)配置ssh无密码...

linux hadoop 2.7 伪分布式安装简单几步实现

hadoop单机版安装总会出现这样那样的问题,安装之后还有可能因为配置文件的错误,导致无法出现namenode或者datanode或者secondarynode等进程,那么本文简单几步就可轻松实现ha...

hadoop2.7x高可用部署方案(+zookeeper)

hadoop高可用的部署,需要有2个namenode,一个是active的,一个是standby的,两个namenode需要有一个管理员来管理,来决定决定谁active,谁standby,如果处于ac...

Centos5.x/Linux下升级python到python2.7版本教程

起因实验室的服务器centos还是5.11版本,python版本竟然是2.4, 这几天想写点实验跑跑,但是这版本有点不爽,因此今天给python升了下级 升级到目前位置Python2的最新版本是2....
  • gatieme
  • gatieme
  • 2016年01月26日 14:43
  • 3377

Linux CentOS6.X 升级python2.6到python2.7

Linux CentOS 6.X系统默认安装的Python都是2.6版本。目前很多python库对2.6的支持都已经放弃。有备无患,这里记录Python2.6升级到Python2.7过程以及一些注意事...

Linux mint下搭建PyQt5 + Python 2.7.x环境

python环境的话安装还是比较简单的这里就不介绍了。虽然PyQt5书Qt的一个扩展但是其并不包含Qt相应的一些组件和库,所以,在安装PyQT 5前我们需要先安装Qt。安装Qt http://blo...

hadoop2.7完全分布式安装

1、安装JDK1.7+ 2、SSH互信免登陆 3、/etc/profile HADOOP_PREFIX=/opt/hadoop JAVA_HOME=/opt/jdk1.7 PAT...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Linux 下安装 hadoop-2.7.x
举报原因:
原因补充:

(最多只允许输入30个字)