在CentOS 6.5 下,HADOOP的三大运行模式的相关操作

本文详细介绍了在CentOS 6.5环境下,Hadoop的本地运行、伪分布式和完全分布式运行模式的配置与操作步骤,包括创建文件、配置环境、启动服务、运行MapReduce程序等。同时,文章提到了MR、VR、AR的相关概念,以及集群管理和SSH无密码登录的配置技巧。
摘要由CSDN通过智能技术生成

在CentOS 6.5 下,HADOOP的三大运行模式的实例及相关操作

序言

    hadoop的运行模式分为**本地运行模式**、**伪分布式运行模式**和**完全分布式运行模式**。其中,我们需要掌握的重中之重就是完全分布式运行模式。因为本地运行模式和伪分布式运行模式,都是为了我们更好的学习完全分布式运行模式所做的准备。

一、本地运行模式

  1. 创建在hadoop-2.7.2文件下面创建一个wcinput文件夹(我用的hadoop版本是hadoop-2.7.2)
    在这里插入图片描述

  2. 在wcinput文件下创建一个wc.input文件
    在这里插入图片描述

  3. 编辑wc.input文件,可在文件中任意编辑内容,但最好是用英语编写,尽可能不要用中文。
    在这里插入图片描述
    进入文件后,按"i"键可以让当前文档编辑模式。编写完后,可按ESC键,退出编辑模式,
    再输入wq,最后按一下回车键,即可保存并退出当前文件。

  4. 回到Haoop目录/opt/module/hadoop-2.7.2(是我解压后的hadoop所在的目录)

  5. 执行程序(如下图输入命令就行)
    在这里插入图片描述

  6. 查看结果
    在这里插入图片描述

    小结:做好以上操作之后,hadoop的本地运行模式也就实现了。根据上面的操作步骤来看,本地运行模式无需任何守护进程,所有的程序都运行在同一台虚拟机上执行。这就使得它调用MR(Mixed Reality 混合实现)程序非常高效方便。

    扩展内容:除了MR(Mixed Reality 混合实现)外,VR(Virtual Reality 虚拟现实)、AR(Agumented Reality 增强现实)也是你需要有一定了解的。
    1、MR(Mixed Reality 混合实现)是VR(Virtual Reality 虚拟现实)的进一步发展。该技术通过在虚拟环境中引入现实场景信息,在虚拟世界、现实世界和用户之间搭起了一个交互反馈的信息回路,以增强用户体验的真实感。
    2、VR(Virtual Reality 虚拟现实)是一种可以创建和体验虚拟世界的计算机仿真系统。
    3、AR(Agumented Reality 增强现实)是一种实时计算的摄像机影像的位置及角度并加上祥光图像的技术,在屏幕上把虚拟世界套在现实世界并进行互动。

二、伪分布式运行模式

1. 启动HDFS并运行MapReduce程序
1.1 分析:
(1)配置集群
(2)启动、测试集群增、删、查、改
(3)执行WordCount案例
1.2 执行步骤:
1.2.1 配置hadoop-env.sh文件
首先,现在Linux系统中获取JDK的安装路径
在这里插入图片描述
然后,用 vi + 路径 命令编辑hadoop-env.sh文件,并找到其中的JAVA_HOME,将其路径修改为自己JDK的安装路径,如下图所示:
在这里插入图片描述
1.2.2 配置core-site.xml文件(直接将图片中的内容添加进去即可,但需要根据自己虚拟机的主机名进行适当更改,比如你的主机名叫hadoop102,那你配置的时候就把core-site.xml文件中的hadoop101改为hadoop102)
在这里插入图片描述
1.2.3 配置hdfs-site.xml文件
在这里插入图片描述
1.3 启动集群:
1.3.1 格式化NameNode(第一次启动时会格式化,一般请尽可能不要随意格式化,不然可能出问题)
在这里插入图片描述
1.3.2 启动NameNode
在这里插入图片描述
1.3.3 启动datanode
在这里插入图片描述
然后用jps命令查看集群是否启动成功,启动成功则会如下图所示:
在这里插入图片描述
然后可

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值