Spark试水

---

安装虚拟机

详细教程看这里：安装虚拟机

全屏

安装vmware-tools就可以全屏了
教程看这里：``全屏

安装Hadoop

安装SSH

更新apt包

sudo apt-get update

安装SSH server

sudo apt-get install openssh-server

配置SSH
输入密码登录本机

ssh localhost

退出本机

exit

正常情况下是免密登录的，如果你还要输入密码的话，那就是你ssh没有配置好。这里要说一下的是ssh7.0之后就关闭了dsa的密码验证方式，如果你的秘钥是通过dsa生成的话，需要改用rsa来生成秘钥

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

再次登录本机，如果不需要输入密码，说明ssh配置好了

安装JDK

官网

这里选择的是：jdk-8uxxx-linux-x64.tar.gz
为了方便，为其单独创立一个文件夹，然后将其放到该目录下

sudo mkdir -p /usr/local/java
sudo mv ./jdk-8uxxx-linux-x64.tar.gz  /usr/local/java/

进入该目录进行解压

cd /usr/local/java
sudo tar xvzf jdk-8uxxx-linux-x64.tar.gz

解压成功后会在当前目录下看到：jdk1.8.0_181文件夹

然后删除安装包

sudo rm jdk-8uxxx-linux-x64.tar.gz 

设置环境变量：打开环境变量的配置文件

sudo vim /etc/profile

在末尾添加

JAVA_HOME=/usr/local/java/jdk1.8.0_xxx
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
export JAVA_HOME
export PATH

告诉Ubuntu Java JDK的位置

sudo update-alternatives --install "/usr/bin/java" "java" "/usr/local/java/jdk1.8.0_181/bin/java" 1
sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/local/java/jdk1.8.0_181/bin/javac" 1
sudo update-alternatives --install "/usr/bin/javaws" "javaws" "/usr/local/java/jdk1.8.0_181/bin/javaws" 1

相应的将其设为默认方式

sudo update-alternatives --set java  /usr/local/java/jdk1.8.0_181/bin/java
sudo update-alternatives --set javac  /usr/local/java/jdk1.8.0_181/bin/javac
sudo update-alternatives --set javaws  /usr/local/java/jdk1.8.0_181/bin/javaws

重新加载环境变量的配置文件

source /etc/profile

检测

java -version

出现以下即成功

安装Hadoop

可以去镜像下载hadoop

选择稳定版本，stable里面有两个文件，src是源码，需要编译，选择另一个下载即可，这是编译好的

然后将其解压到：/usr/local

sudo tar -zxf ./hadoop-x.x.x.tar.gz -C /usr/local

记得删除安装包

rm ./hadoop-x.x.x.tar.gz

重命名并修改权限

cd /usr/local/
sudo mv ./hadoop-x.x.x/ ./hadoop
sudo chown -R name ./hadoop

授权后

ls -al

检测