Centos7搭建Hadoop 2.X伪分布式环境并运行wordcount MapReduce示例

本文详细介绍了在Centos7上搭建Hadoop 2.X伪分布式环境的步骤,包括下载Hadoop、配置SSH免密码登录、安装配置Hadoop、配置YARN以及运行MapReduce的Wordcount示例。通过遵循这些步骤,读者可以成功在本地运行Hadoop并体验MapReduce的基本功能。
摘要由CSDN通过智能技术生成

1. 下载Hadoop

在 Apache的 Hadoop项目界面找到hadoop的 hadoop下载地址
http://hadoop.apache.org/releases.html
因为直接从Apache官方下载文件速度很慢,所以在表格下面选择别的镜像站地址。
在弹出的界面中会推荐一个下载速度很快的国内镜像站。
这里写图片描述

这里写图片描述
选择其中某个版本的hadoop下载,因为现在市面上绝大部分的学习资料都是以hadoop 2.x 为基础,所以推荐大家下载hadoop 2.x的版本。
没有安装图形界面的系统可以直接在命令行中使用下面的wget命令下载文件

wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz

2. 配置ssh免密码登录

以下操作均在root用户中进行,centos7 可以在命令行中使用 su 命令,输入密码后进入root用户。并且默认centos系统中已经正确的配置好了java环境

- 进入当前用户目录,找到 .ssh 文件夹

cd ~      //切换到当前用户的用户目录下
ls -all   //查看当前用户目录下的所有文件

查看当前用户的目录下是否有 .ssh 文件夹,如果没有就自己创建一个
这里写图片描述

- 生成私钥和公钥

cd .ssh                 
ssh-keygen -t rsa           //  生成公钥和私钥,期间系统会询问密钥的保存位置,直接一路回车确认即可
cp id_rsa.pub authorized_keys           // 复制公钥

这里写图片描述

  • 验证ssh免密码登录是否成功
ssh localhost           //ssh登录本机,第一次登录可能需要输入一次密码,退出之后再登录就不需要了
exit

这里写图片描述

如果在输入ssh localhost之后出现 报错:Permission denied (publickey,gssapi-keyex,gssapi-with-mic)
这是因为ssh公钥验证失败导致的错误,这个错误的解决办法可以参照别人的博客:

以root用户远程登录Linux报错:Permi

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值