Spark

一.实验目的
1． 了解Spark SQL所能实现的功能；

2． 能够使用Spark SQL执行一些sql语句。

二.实验要求
1． 能在实验结束之后完成建立数据库，建立数据表的数据结构；

2． 建立数据表之后能在Spark SQL中执行SQL语句进行查询；

3． 练习怎么向Spark SQL中导入数据。

三.实验原理
Spark SQL用于以交互式方式编写并执行Spark SQL，且书写语法为类SQL，同Spark Shell一样，启动时写明“–master spark://master:7077”则进入集群模式，否则默认进入单机模式。由于默认安装的Spark已经包含了Spark SQL，故无需安装其它组件，直接执行即可。

Spark SQL使得运行SQL和HiveQL查询十分简单。Spark SQL能够轻易地定位相应的表和元数据。Spark SQL为Spark提供了查询结构化数据的能力，查询时既可以使用SQL也可以使用人们熟知的DataFrame API（RDD）。Spark SQL支持多语言编程包括Java、Scala、Python及R，开发人员可以根据自身喜好进行选择。

DataFrame是Spark SQL的核心，它将数据保存为行构成的集合，行对应列有相应的列名。使用DataFrames可以非常方便地查询数据、给数据绘图及进行数据过滤。

DataFrames也可以用于数据的输入与输出，例如利用Spark SQL中的DataFrames，可以轻易地将下列数据格式加载为表并进行相应的查询操作：

1． RDD；

2． JSON；

3． Hive；

4． Parquet；

5． MySQL；

6． HDFS；

7． S3；

8． JDBC；

9． 其它 。

数据一旦被读取，借助于DataFrames便可以很方便地进行数据过滤、列查询、计数、求平均值及将不同数据源的数据进行整合。

如果你正计划通过读取和写数据来进行分析，Spark SQL可以轻易地帮你实现并将整个过程自动化。

四. 实验步骤
登录大数据实验一体机，启动实验十七，并点击右上方的一键搭建按钮，等待搭建完成。如图17-1所示：

图17-1 自动搭建集群

在master机上建立一个数据文件weather.dat。

在master机上启动Spark SQL。

确认当前Spark SQL中是否已经存在我们需要建立的数据库。

Spark SQL> show databases;
确认在当前的Spark SQL中不存在数据库名为db的数据库时进行操作。

Spark SQL> create database db;

切换当前数据库。

Spark SQL> use db;
建表操作。

执行命令检查是否建表成功

通过上述命令能在结果中发现weather表。

导入数据

执行查询命令。

通过查询命令可以正确得到刚才导入的数据就代表导入数据成功。

删除表；

上述命令可以通过查看数据库中存在的表检查weather表是否删除。

五.实验结果
建立数据库成功后show database 结果中能看到以下内容，如图17-2所示。

图17-2

建表成功之后show tables 结果能能看到的以下内容，如图17-3所示。

图17-3

执行查询命令成功，如图17-4所示。

select * from weather;

图17-4

执行过滤结果如图17-5所示。

select * from weather where temperature > 10.0

图17-5

实验操作：
步骤1：搭建Spark集群

配置Spark集群（独立模式）：

1.前提：

配置各节点之间的免密登录，并在/etc/hosts中写好hostname与IP的对应，这样方便配置文件的相互拷贝。2、因为下面实验涉及Spark集群使用HDFS，所以按照之前的实验预先部署好HDFS。

在master机上操作：确定存在spark。

在master机上操作：进入/usr/cstor目录中。

进入配置文件目录/usr/cstor/spark/conf， 先拷贝并修改slave.templae为slave。

然后用vim命令编辑器编辑slaves文件

编辑slaves文件将下述内容添加到slaves文件中。

上述内容表示当前的Spark集群共有三台slave机，这三台机器的机器名称分别是slave1~3。

在spark-conf.sh中加入JAVA_HOME。

加入以下内容

export JAVA_HOME=/usr/local/jdk1.7.0_79
将配置好的Spark拷贝至slaveX、client。（machines在目录/root/data/2下,如果不存在则自己新建一个）

使用for循环语句完成多机拷贝。

在master机上操作：启动Spark集群。

2.配置HDFS

配置Spark集群使用HDFS：

首先关闭集群(在master上执行)

将Spark环境变量模板复制成环境变量文件。

[root@master ~]# cd /usr/cstor/spark/conf
[root@master conf]# cp spark-env.sh.template spark-env.sh
修改Spark环境变量配置文件spark-env.sh。

[root@master conf]$ vim spark-env.sh
在sprak-env.sh配置文件中添加下列内容。

export HADOOP_CONF_DIR=/usr/cstor/hadoop/etc/hadoop
重新启动spark

步骤2：进入spark-sql

步骤3：spark-sql建库

步骤4：spark-sql建表

查看创建的表show tables;

步骤5：spark-sql导入数据

步骤6：spark-sql条件查询

步骤7：spark-sql删表

验证是否删除