(下面所有操作都要建立在安装过JDK的基础上)
请到官网下载最新版本的scala、hadoop和spark,移动至/usr/local文件夹。
一、安装Scala
1、解压
2、重命名
3、编辑/etc/profile
在底部添加export PATH=/usr/local/scala/bin:$PATH
4、使更改生效
5、验证
出现下图即为成功
至此Scala安装全部完成。
二、安装hadoop
1、新增名为hadoop的用户
输入密码,如果提示密码过于简单可以无视,继续输入即可
2、配置ssh免密登陆
安装SSH client和SSH server。验证如下
密钥授权
cd ~/.ssh/(如果没有该目录则先执行ssh localhost登陆,再输入exit退出)
ssh-keygen -t rsa(生成密钥)
cat id_rsa.pub >> authorized_keys
chmod 600 ./authorized_keys
3、解压,重命名(参考Scala,root权限)
4、更改hadoop权限
5、验证
解压即可用,验证如下
三、安装Spark
1、解压、重命名(参考Scala)
2、编辑/etc/profile
在底部添加SPARK_HOME=/usr/local/spark
PATH=$PATH:${SPARK_HOME}/bin
3、使更改生效
4、验证
如果成功会出现
5、常见错误
如果出现这个错误在/etc/profile最后增加一行即可
export LD_LIBRARY_PATH=/usr/local/hadoop/lib/native/:$LD_LIBRARY_PATH