Hadoop入门到实战(第二节) - 环境安装

本文详细介绍了如何在Linux环境中安装和配置Hadoop,包括下载Hadoop、配置环境、创建Hadoop用户、设置SSH免密登录以及配置相关XML文件。通过此教程,读者将能够完成Hadoop的单节点集群配置并进行验证。
摘要由CSDN通过智能技术生成

本小节,我们来安装Hadoop环境。

远程连接工具

为了安装环境我们需要先在Windows下安装一个远程连接的工具来连接Linux虚拟机。这款工具叫做SecureCRT,当然还有很多其他连接工具,不过我觉得这一款挺好用。
官网下载地址(不免费):https://www.vandyke.com/download/securecrt/download.html
你也可以用我这个:链接:https://pan.baidu.com/s/1GQq0l1N3XCpov8cPzCCkHQ 密码:5vyv

打开软件,新建连接。

image.png

image.png

设置连接属性

image.png

进入主界面

image.png

我们来稍稍美化一下 ,编码格式需要设置成UTF-8 否则会乱码。

image.png

image.png

好了现在我们可以开始安装Hadoop了。

下载Hadoop

我们去官网下载:http://hadoop.apache.org/

image.png

image.png

image.png

输入wget下载Hadoop
image.png

如果我们是生产环境就需要验证文件的完整性,在这里我们就偷个懒了。

下载好之后,解压到/app目录下。注意要切换成root用户解压哦,或者在命令前加上sudo 否则可能权限不够。

image.png

我们来切换到app目录下修改一下hadoop文件夹的名字

image.png

配置Hadoop环境

下载好Hadoop之后我们就要开始配置环境了,
接下来我们来搭建一个单节点的集群,配置一个伪分布式,为什么不做分布式呢?
其实分布式的配置和伪分布式差不多,只是分布式机器增加了而已,其他没什么两样,所以作为Hadoop学习我们搭建伪分布式要更好一点,不过后期我们会搭建真正的分布式环境。
好了,开始吧。你可以和我一起来,也可以看官方文档:http://hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-common/SingleCluster.html
毕竟这是知识的源头嘛,不过和我一起来可以避免很多坑哦,毕竟我是从坑里爬出来的人。

检查SSH

rpm -qa | grep openssh
rpm -qa |grep rsync

image.png
出现和我一样的界面即代表已安装SSH,如果没有出现,那么你需要安装SSH和rsync,你可以通过如下命令安装:

yum install ssh 
yum install rsync 
servi
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值