Hadoop2.X的安装与配置(二)本地模式

原创 2018年04月16日 20:34:53

     在上一篇文章中,我们介绍了Hadoop2.X安装与配置前的准备阶段。

     在本地模式配置前,首先完成准备阶段。

     点击如下链接,进入准备阶段的配置

https://blog.csdn.net/weixin_38187469/article/details/79765876


本地模式的配置需要在如下的配置文件中添加配置参数


    使用vi编辑器修改hadoop-env.sh配置文件


    :set number打开行号,在hadoop-env.sh配置文件中添加如下语句


    :wq保存退出后,本地模式就配置完成了。

     注:这里JAVA_HOME所在位置根据自己jdk所在位置进行修改


    下面我们在本地模式下测试一下MapReduce程序

    1、命令:cd training/hadoop-2.7.3/share/hadoop/mapreduce        进入到MapReduce的示例所在的目录

          如下所示,hadoop-mapreduce-examples-2.7.3.jar就是示例的jar包


    2、命令:hadoop jar hadoop-mapreduce-example-2.7.1.jar        查看这个示例jar包下有哪些例子

         这里使用wordcount作为例子执行


    3、准备数据源

         使用vi编辑器创建一个文件,在此文件中输入一些单词作为数据源



    命令:hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount ~/tmp/data.txt ~/tmp/wordCount

            参数:  ~/tmp/data.txt        表示输入数据

           参数: ~/tmp/wordCount   表示输出数据保存位置


    查看打印的日志,出现如下语句说明MapReduce程序执行完成


    进入输出数据保存的目录,查看MapReduce的wordcount程序运行的结果


    到这里本地模式的配置与测试MapReduce程序就完毕了得意


版权声明:本文为博主原创文章,未经博主允许不得转载。

https://blog.csdn.net/weixin_38187469/article/details/79965847

Hadoop2.X的安装与配置(一)准备阶段

       Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。       Hadoop...
  • weixin_38187469
  • weixin_38187469
  • 2018-04-11 08:29:24
  • 20

Hadoop学习笔记(2)-搭建Hadoop本地模式

0.前言hadoop总共有三种运行方式。本地模式(Local (Standalone) Mode),伪分布式(Pseudo-Distributed Mode),分布式(Fully-Distribute...
  • xummgg
  • xummgg
  • 2016-04-17 13:32:05
  • 6792

Hadoop2.x配置HA

各节点配置参考表 主机 NameNode DataNode Zookeeper ZKFC JournalNode ResourceManager NodeManager...
  • u011642663
  • u011642663
  • 2016-03-27 12:50:27
  • 487

Hadoop2.x实战:Hadoop安装与配置

摘要:本文主要讲了Hadoop2.7.2在Ubuntu14.04上的安装与配置过程
  • Evankaka
  • Evankaka
  • 2016-06-27 11:01:19
  • 1891

Hadoop2.x完全分布式配置详解

Hadoop2.x 完全分布式集群配置
  • Aircraftxjd
  • Aircraftxjd
  • 2015-03-25 17:11:18
  • 2775

hadoop2.X的ha完全分布式安装和部署

节点分布状况 hostname ip zookeeper namenode datanode journalnode resourceManager node...
  • u011922760
  • u011922760
  • 2016-10-28 08:57:49
  • 312

Hadoop2.6.2完全分布式集群HA模式安装配置详解

一、机器配置清单(8节点) hadoop100 节点:NameNode、DFSZKFailoverController(ZKFC) hadoop101 节点:NameNode、DFSZKFailo...
  • ltliyue
  • ltliyue
  • 2016-04-13 16:15:43
  • 5033

Hive本地模式安装配置

准备: hive安装包 http://mirrors.hust.edu.cn/apache/ 下载apache-hive-2.1.0-bin.tar.gz mysql RPM压缩包 htt...
  • EaShion1994
  • EaShion1994
  • 2016-07-28 17:14:00
  • 926

Hive内嵌模式和本地模式安装方法详解

Hive有三种模式(内嵌模式、本地模式、远程模式) 内嵌模式:内嵌derby数据库(一个会话连接,常用于简单测试)它的安装方法如下: 1、下载hive(下载之前一定要去官网http://hive.ap...
  • sinat_35045195
  • sinat_35045195
  • 2017-03-07 22:55:14
  • 1853

hadoop2.x安装配置

1.首先准备hadoop2.2.0的安装包,从官网获取,略。 2.加压
  • xyls12345
  • xyls12345
  • 2014-06-30 12:16:01
  • 3730
收藏助手
不良信息举报
您举报文章:Hadoop2.X的安装与配置(二)本地模式
举报原因:
原因补充:

(最多只允许输入30个字)