Spark学习

环境安装

环境使用

• 虚拟机：VMware
• 操作系统：Linux，Ubuntu16版本
• JAVA环境：jdk-8u201
• Spark环境：Spark3.0，Hadoop3.2

环境配置

1. 安装VMware，下载Ubuntu服务器版iso文件，在虚拟机中安装。
2. 配置jdk。上传jdk压缩包，在profile文件中追加代码（jdk8为jdk文件夹）

export JAVA_HOME=/home/jdk8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}

3. 安装ssh。启用ssh-server服务，可以看到sshd进程运行。更改配置文件，启用root远程登录。
4. 配置静态IP地址。配置VMware虚拟网卡，设置NAT。将ip设为静态。
5. 使用mobaXterm远程登录。
6. 上传spark-hadoop压缩包，解压后，spark-shell脚本运行。