大数据第一步：Scala+Hadoop+Spark环境安装

（下面所有操作都要建立在安装过JDK的基础上）

请到官网下载最新版本的scala、hadoop和spark，移动至/usr/local文件夹。

一、安装Scala

1、解压

2、重命名

3、编辑/etc/profile

在底部添加export PATH=/usr/local/scala/bin:$PATH

4、使更改生效

5、验证

出现下图即为成功

至此Scala安装全部完成。

二、安装hadoop

1、新增名为hadoop的用户

输入密码，如果提示密码过于简单可以无视，继续输入即可

2、配置ssh免密登陆

安装SSH client和SSH server。验证如下

密钥授权

cd ~/.ssh/（如果没有该目录则先执行ssh localhost登陆，再输入exit退出）

ssh-keygen -t rsa（生成密钥）

cat id_rsa.pub >> authorized_keys

chmod 600 ./authorized_keys

3、解压，重命名（参考Scala，root权限）

4、更改hadoop权限

5、验证

解压即可用，验证如下

三、安装Spark

1、解压、重命名（参考Scala）

2、编辑/etc/profile

在底部添加SPARK_HOME=/usr/local/spark

PATH=$PATH:${SPARK_HOME}/bin

3、使更改生效

4、验证

如果成功会出现

5、常见错误

如果出现这个错误在/etc/profile最后增加一行即可

export LD_LIBRARY_PATH=/usr/local/hadoop/lib/native/:$LD_LIBRARY_PATH