Linux 下安装 hadoop-2.7.x

原创 2015年11月21日 15:24:28

本文地址:http://blog.csdn.net/shanglianlm/article/details/49964797
本文以 hadoop-2.7.1 为例。

下载
hadoop-2.7.1

解压tar.gz

tar zxvf hadoop-2.7.1.tar.gz

查看hadoop版本

./bin/hadoop versi

如果出现Error: JAVA_HOME is not set and could not be found.这说明没有JAVA_HOME环境变量没有配置好
那么我们就需要先配置JAVA_HOME环境变量

方法一:

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-i386

不赞成使用这种方法,因为换个shell,你的设置就无效了,因此这种方法仅仅是临时使用,以后要使用的时候又要重新设置,比较麻烦。

方法二:
修改.bashrc文件
如果你需要给某个用户权限使用这些环境变量,你只需要修改其个人用户主目录下的.bash_profile文件就可以了.

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-i3

立即生效并测试

source ~/.bashrc
echo $JAVA_HOM

然后再次查看hadoop的版本信息

./bin/hadoop version

测试Hadoop是否安装成功
在书本2.3.4节中,如果读者对教材看得不是很明白的话,那么可以用下面的内容来检测是否已经安装成功!
因为教材中使用的主类名程序是grep程序,而不是开头说的wordcount程序,二者是不一样的。
单词计数wordcount是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版”Hello World”,单词计数主要完成功能是:统计一系列文本文件中每个单词出现的次数.
好,现在我们进入检测示例:

创建input目录和output目录
input作为输入目录,output目录作为输出目录

mkdir input
mkdir outpu

在input文件夹中创建两个测试文件file1.txt和file2.txt

cd input
echo "hello world" > file1.txt
echo "hello hadoop" > file2.txt

运行

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount input outp

ok,那么我们该如何理解上面的执行语句?请看:

./bin/hadoop jar 执行jar命令

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount所在的jar包
wordcount 程序主类名
input 输入文件夹
output 输出文件夹

查看结果
到output文件夹下,查看结果

cat  part-r-00000

可以这样的结果:

hadoop  1
hello   2
world   1
版权声明:本文为博主原创文章,欢迎转载,转载请注明出处。 举报

相关文章推荐

Linux 下安装 hadoop-2.7.x

本文地址: 本文以 hadoop-2.7.1 为例。下载 hadoop-2.7.x 解压tar.gztar zxvf hadoop-2.7.1.tar.gz查看hadoop版本./bin/hado...

Ubuntu 16下安装Hadoop 2.7

Hadoop有不同版本,本文安装的为2.7版本。 (1)创建hadoop用户,配置密码,赋予su权限:sudo useradd -m hadoop -s /bin/bash sudo passwd ...

精选:深入理解 Docker 内部原理及网络配置

网络绝对是任何系统的核心,对于容器而言也是如此。Docker 作为目前最火的轻量级容器技术,有很多令人称道的功能,如 Docker 的镜像管理。然而,Docker的网络一直以来都比较薄弱,所以我们有必要深入了解Docker的网络知识,以满足更高的网络需求。

hadoop 2.7 安装nfs

本文讲解了hadoop 2.7的nfs安装方法。

zookeeper-3.5.1 for Hadoop 2.7安装

安装zookeeper-3.5.1之前是将hadoop已经安装完毕   下载地址 http://mirror.bit.edu.cn/apache/zookeeper/   集群节点环境 h...

hadoop 2.7伪分布安装

hadoop 2.7的“伪”分式安装与“全”分式安装相比,大部分操作是相同的,主要区别在于不用配置slaves文件,而且其它xxx-core.xml里的参数很多也可以省略,下面是几个关键的配置: (...

hadoop伪分布模式安装步骤

1、在win7系统下按在vmware,并为其

Python2.7在win10下的安装配置

Python2.7的安装配置 Python的语法简洁,功能强大,有大量的第三方开发包(模块),非常适合初学者上手。但是现在python有2和3两个大类版本,在上一篇文章中我已经总结了python2和...

linux下安装hadoop

1.   下载hadoop安装压缩包:

Linux下安装hadoop

常用Linux命令解析 sudo与su区别 su用作切换用户,例如使用普通用户登录Ubuntu但是需要执行添加用户的任务,而此权限该普通用户不具备,可以通过su命令来切换到root下进行添加用户的工...

python 2.7 - 安装

1. windows下安装 2. 配置IDE:Notepad++ 3. 安装支持包
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)