本小节,我们来安装Hadoop环境。
远程连接工具
为了安装环境我们需要先在Windows下安装一个远程连接的工具来连接Linux虚拟机。这款工具叫做SecureCRT,当然还有很多其他连接工具,不过我觉得这一款挺好用。
官网下载地址(不免费):https://www.vandyke.com/download/securecrt/download.html
你也可以用我这个:链接:https://pan.baidu.com/s/1GQq0l1N3XCpov8cPzCCkHQ 密码:5vyv
打开软件,新建连接。
设置连接属性
进入主界面
我们来稍稍美化一下 ,编码格式需要设置成UTF-8 否则会乱码。
好了现在我们可以开始安装Hadoop了。
下载Hadoop
我们去官网下载:http://hadoop.apache.org/
输入wget
下载Hadoop
如果我们是生产环境就需要验证文件的完整性,在这里我们就偷个懒了。
下载好之后,解压到/app
目录下。注意要切换成root用户解压哦,或者在命令前加上sudo
否则可能权限不够。
我们来切换到app目录下修改一下hadoop文件夹的名字
配置Hadoop环境
下载好Hadoop之后我们就要开始配置环境了,
接下来我们来搭建一个单节点的集群,配置一个伪分布式,为什么不做分布式呢?
其实分布式的配置和伪分布式差不多,只是分布式机器增加了而已,其他没什么两样,所以作为Hadoop学习我们搭建伪分布式要更好一点,不过后期我们会搭建真正的分布式环境。
好了,开始吧。你可以和我一起来,也可以看官方文档:http://hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-common/SingleCluster.html
毕竟这是知识的源头嘛,不过和我一起来可以避免很多坑哦,毕竟我是从坑里爬出来的人。
检查SSH
rpm -qa | grep openssh
rpm -qa |grep rsync
出现和我一样的界面即代表已安装SSH,如果没有出现,那么你需要安装SSH和rsync,你可以通过如下命令安装:
yum install ssh
yum install rsync
servi