Spark

一.实验目的
1． 了解Spark SQL所能实现的功能；
2． 能够使用Spark SQL执行一些sql语句。
二.实验要求
1． 能在实验结束之后完成建立数据库，建立数据表的数据结构；
2． 建立数据表之后能在Spark SQL中执行SQL语句进行查询；
3． 练习怎么向Spark SQL中导入数据。
三.实验原理
Spark SQL用于以交互式方式编写并执行Spark SQL，且书写语法为类SQL，同Spark Shell一样，启动时写明“–master spark://master:7077”则进入集群模式，否则默认进入单机模式。由于默认安装的Spark已经包含了Spark SQL，故无需安装其它组件，直接执行即可。
Spark SQL使得运行SQL和HiveQL查询十分简单。Spark SQL能够轻易地定位相应的表和元数据。Spark SQL为Spark提供了查询结构化数据的能力，查询时既可以使用SQL也可以使用人们熟知的DataFrame API（RDD）。Spark SQL支持多语言编程包括Java、Scala、Python及R，开发人员可以根据自身喜好进行选择。
DataFrame是Spark SQL的核心，它将数据保存为行构成的集合，行对应列有相应的列名。使用DataFrames可以非常方便地查询数据、给数据绘图及进行数据过滤。
DataFrames也可以用于数据的输入与输出，例如利用Spark SQL中的DataFrames，可以轻易地将下列数据格式加载为表并进行相应的查询操作：
1． RDD；
2． JSON；
3． Hive；
4． Parquet；
5． MySQL；
6． HDFS；
7． S3；
8． JDBC；
9． 其它 。
数据一旦被读取，借助于DataFrames便可以很方便地进行数据过滤、列查询、计数、求平均值及将不同数据源的数据进行整合。
如果你正计划通过读取和写数据来进行分析，Spark SQL可以轻易地帮你实现并将整个过程自动化。
四. 实验步骤
登录大数据实验一体机，启动实验十七，并点击右上方的一键搭建按钮，等待搭建完成。如图17-1所示：
图17-1 自动搭建集群
在master机上建立一个数据文件weather.dat。

在master机上启动Spark SQL。

确认当前Spark SQL中是否已经存在我们需要建立的数据库。

Spark SQL> show databases;
确认在当前的Spark SQL中不存在数据库名为db的数据库时进行操作。
Spark SQL> create database db;

切换当前数据库。

Spark SQL> use db;
建表操作。

执行命令检查是否建表成功

通过上述命令能在结果中发现weather表。
导入数据

执行查询命令。

通过查询命令可以正确得到刚才导入的数据就代表导入数据成功。
删除表；

上述命令可以通过查看数据库中存在的表检查weather表是否删除。
五.实验结果
建立数据库成功后show database 结果中能看到以下内容，如图17-2所示。
图17-2
建表成功之后show tables 结果能能看到的以下内容，如图17-3所示。
图17-3
执行查询命令成功，如图17-4所示。
select * from weather;
图17-4
执行过滤结果如图17-5所示。
select * from weather where temperature > 10.0
图17-5
实验操作：
步骤1：搭建Spark集群
配置Spark集群（独立模式）：
1.前提：
配置各节点之间的免密登录，并在/etc/hosts中写好hostname与IP的对应，这样方便配置文件的相互拷贝。2、因为下面实验涉及Spark集群使用HDFS，所以按照之前的实验预先部署好HDFS。
在master机上操作：确定存在spark。

在master机上操作：进入/usr/cstor目录中。

进入配置文件目录/usr/cstor/spark/conf， 先拷贝并修改slave.templae为slave。

然后用vim命令编辑器编辑slaves文件

编辑slaves文件将下述内容添加到slaves文件中。

上述内容表示当前的Spark集群共有三台slave机，这三台机器的机器名称分别是slave1~3。
在spark-conf.sh中加入JAVA_HOME。

加入以下内容
export JAVA_HOME=/usr/local/jdk1.7.0_79
将配置好的Spark拷贝至slaveX、client。（machines在目录/root/data/2下,如果不存在则自己新建一个）
使用for循环语句完成多机拷贝。

在master机上操作：启动Spark集群。

2.配置HDFS
配置Spark集群使用HDFS：
首先关闭集群(在master上执行)
将Spark环境变量模板复制成环境变量文件。
[root@master ~]# cd /usr/cstor/spark/conf
[root@master conf]# cp spark-env.sh.template spark-env.sh
修改Spark环境变量配置文件spark-env.sh。
[root@master conf]$ vim spark-env.sh
在sprak-env.sh配置文件中添加下列内容。
export HADOOP_CONF_DIR=/usr/cstor/hadoop/etc/hadoop
重新启动spark
步骤2：进入spark-sql
步骤3：spark-sql建库
步骤4：spark-sql建表
查看创建的表show tables;
步骤5：spark-sql导入数据
步骤6：spark-sql条件查询
步骤7：spark-sql删表
验证是否删除