Mahout实践:Mahout安装部署
1、实验描述
-
本实验通过在Hadoop集群已经部署的前提下,安装配置Mahout,并使用默认的配置,使得mahout运行于集群模式之下。
-
实验时长:45分钟
-
主要步骤:
-
打开hadoop集群
-
安装配置Mahout
-
验证Mahout安装
-
2、实验环境
-
虚拟机数量:3
-
系统版本:CentOS 7.5
-
Mahout版本:apache-mahout-distribution-0.13.0
-
Hadoop版本:Hadoop 2.7.3
3、相关技能
- Hadoop 原理
- Shell 基本命令
- 启动hadoop集群
- 安装部署mahout
- 使用vim
4、相关知识点
-
Hadoop集群
-
Mahout
5、实现效果
- Mahout安装成功效果如下图所示:
6、实验步骤
6.1打开虚拟机并启动Hadoop集群
6.1.1在master节点启动Hadoop集群
[zkpk@master ~]$ start-all.sh
6.1.2在master命令行上运行jps,确认NameNode, SecondaryNameNode, ResourceManager进程启动
6.1.3在slave01命令行上运行jps,确认DataNode, NodeManager进程启动
6.1.4在slave02命令行上运行jps,确认DataNode, NodeManager进程启动
6.2在master节点,安装mahout
6.2.1将mahout安装包拷贝到zkpk的家目录下。
[zkpk@master ~]$ cp /home/zkpk/tgz/apache-mahout-distribution-0.13.0.tar.gz /home/zkpk/
6.2.2解压安装包,并重命名解压后的目录
[zkpk@master ~]$ cd
[zkpk@master ~]$ tar xvzf apache-mahout-distribution-0.13.0.tar.gz
[zkpk@master ~]$ mv apache-mahout-distribution-0.13.0 mahout # 将文件夹重命名
6.2.3查看重命名后的目录
[zkpk@master ~]$ ll mahout/
6.2.4配置mahout的环境变量
6.2.4.1执行如下命令,进入配置文件中
[zkpk@master ~]$ cd
[zkpk@master ~]$ vim .bash_profile # 要求会vim的基本使用
6.2.4.2文件末尾追加如下内容,键入wq 保存
# Mahout
export MAHOUT_HOME=/home/zkpk/mahout
export MAHOUT_CONF_DIR=$MAHOUT_HOME/conf
export PATH=$MAHOUT_HOME/conf:$MAHOUT_HOME/bin:$PATH
6.2.4.3使用source命令,使得环境变量生效。
[zkpk@master ~]$ source ~/.bash_profile
6.3验证mahout安装
6.3.1命令行键入mahout并运行
[zkpk@master ~]$ mahout
6.3.2根据提示,默认是以集群模式运行
7、总结
本实验做下mahout的安装部署。主要包括以Hadoop集群的正常启动为前提,然后解压mahout压缩包、配置Mahout环境变量,并验证了mahout的安装是否成功。