spark学习1——配置hadoop 单机模式并运行WordCount实例(ubuntu14.04 & hadoop 2.6.0)

原创 2015年11月19日 20:55:00

1. 安装SSH

 hadoop是采用SSH进行通信的 ,此时要设置密码为空,即不需要密码登陆,免去每次登陆时都要输入密码,当集群较大时该步骤显得尤为重要。

    $ sudo apt-get install ssh

安装完成后启动服务:

    $ /etc/init.d/ssh start

以下命令验证服务是否正常启动:

    $ ps -e |grep ssh

设置免密码登陆,生成私钥和公钥:

    $ ssh-keygen -t dsa

此时会在~/.ssh中生成两个文件:id_dsa, id_dsa.pub,其中,id_dsa为私钥,id_dsa.pub为公钥,我们将公钥追加到authorized_keys中,因为authorized_keys用于保存所有允许以当前用户身份登陆到ssh客户端用户的公钥内容。

    $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

登陆ssh:

    $ ssh localhost

下图为免密码成功登陆后的结果:

 $ exit    退出localhost。


2. 安装rsync

通过以下命令安装或更新rsync:

    $ sudo apt-get install rsync

第一,从hadoop官网下载hadoop压缩包,笔者下载的版本为 hadoop-2.6.0.tar.gz,将其解压至/usr/local/下:

    $ sudo tar zxvf /home/XXX/Downloads/hadoop-2.6.0.tar.gz -C /usr/local

第二,在hadoop-env.sh配置java安装信息,如下图:

通过gedit 命令修改hadoop-env.sh文件中的JAVA_HOME:


使用source命令使配置生效:(在/usr/local/hadoop-2.6.0/etc/hadoop下)

    $ source hadoop-env.sh

为了使我们可以使用hadoop命令,修改 profile文件中的PATH:

    $ sudo gedit /etc/profile

如下图:


重启电脑使配置生效。

验证hadoop版本信息:

    $ hadoop version



3. 运行hadoop 自带的wordcount实例

    $ cd /home/XXX/

    $ mkdir hadoop

    $ cd hadoop

    $ mkdir input

在此目录下创建任意多个文本文件。

    $ cd /usr/local/hadoop-2.6.0

    $ bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount /home/wuqh/hadoop_wuqh/input /home/wuqh/hadoop_wuqh/output

查看输出结果:

    $ cat output/*


至此,单机模式的构建、配置和运行测试彻底成功!


参考文献:《大数据Spark 企业级实战》,电子工业出版社

Ubuntu14安装配置Hadoop2.6.0(完全分布式)与 wordcount实例运行

我的环境是:Ubuntu14+Hadoop2.6.0+JDK1.8.0_25 官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-proj...
  • lizhangyong1989
  • lizhangyong1989
  • 2015年01月08日 21:37
  • 1735

Hadoop伪分布式运行wordcount小例子

先说点小知识 hadoop fs 使用面最广,可以操作任何文件系统 hadoop dfs和hdfs dfs只能操作HDFS相关的 在上一篇博客中,我们已经成功启动了HDFS和YARN,接下来 先建数...
  • Dr_Guo
  • Dr_Guo
  • 2016年03月14日 22:33
  • 2114

【Hadoop基础教程】Hadoop之单词计数wordcount

单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版“Hello World”,该程序的完整代码可以在Hadoop安装包的src/example目录下找到。单词计...
  • AnneQiQi
  • AnneQiQi
  • 2016年04月19日 13:16
  • 1987

Ubuntu14安装配置Hadoop2.6.0(完全分布式)与 wordcount实例运行

我的环境是:Ubuntu14+Hadoop2.6.0+JDK1.8.0_25 官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-proj...
  • lizhangyong1989
  • lizhangyong1989
  • 2015年01月08日 21:37
  • 1735

Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)

2.安装rsync 我们的Ubuntu 12.10版本默认安装了rsync,我们可以通过以下命令来安装或者更新rsync 3.安装hadoop,家林把下载下来的最新稳定版本的hadoop保...
  • wwttz1974
  • wwttz1974
  • 2014年08月15日 15:08
  • 602

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 给力星 2014年8月10日 (updated: 2017年11月21日) 107822 当开始着手实践...
  • juanhuokang2681
  • juanhuokang2681
  • 2017年12月31日 19:40
  • 14

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

Hadoop单节点伪分布式安装配置,转载自:http://www.powerxing.com/install-hadoop/ 环境 本教程使用 Ubuntu 14.04 64位 作为系统环...
  • u012340794
  • u012340794
  • 2016年07月12日 21:26
  • 590

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04(转)

感谢文章的作者,我少走了很多弯路 文章出处:http://www.powerxing.com/install-hadoop/ 下面是给自己备份下文章:{ 当开始着手实践 Hadoop 时,安装 ...
  • rainyspring4540
  • rainyspring4540
  • 2016年09月22日 16:26
  • 167

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上...
  • xiaoshunzi111
  • xiaoshunzi111
  • 2016年07月07日 10:15
  • 466

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

当开始着手实践Hadoop时,安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有Hadoop安装配置教程,但由于对Linux环境不熟悉,书上跟官网上简略的安装步骤新...
  • u012214981
  • u012214981
  • 2015年11月09日 13:51
  • 178
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:spark学习1——配置hadoop 单机模式并运行WordCount实例(ubuntu14.04 & hadoop 2.6.0)
举报原因:
原因补充:

(最多只允许输入30个字)