Spark环境搭建与入门实例

1目的及要求

基于Spark平台，使用Spark ML库实现数据聚类分析。使用Synthetic Control Chart Time Series数据synthetic_control.data，数据包括600个数据点(行)，每个数据点有60个属性，详细信息见:

http://archive.ics.uci.edu/ml/databases/synthetic_control/

目标：将600个数据点聚为多个类，默认输出为8个类。输入文件为synthetic_control.data，编写Spark分析算法实现600个点的聚类，输出8个聚类质点及包含的点。

2实验环境

本实验基于虚拟机环境，所采用的软件及其版本如下：

虚拟机软件：Oracle VirtualBox 5.2.6

虚拟机操作系统：Ubuntu 16.04.1 LTS - 64 bit

Java环境：JDK-1.8

Maven工具：Maven 3.5.4

Spark平台：spark-2.1.2-bin-hadoop2.7

 

3实验内容与步骤

3.1实验环境搭建

3.1.1搭建Java开发环境

1）键入如下命令将jdk软件包解压至指定目录：

tar -zxvf jdk-8u181-linux-x64.tar.gz -C your_java_home

2）键入如下命令编辑profile文件：

sudo vim /etc/profile

设置jdk环境变量，在profile文件的末尾添加如下内容：

export JAVA_HOME=your_java_home

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH