HIVE-on-Spark

hive底层是通过MR进行计算，将其改变为SparkCore来执行

配置步骤
1.在不是高可用集群的前提下，只需要将Hadoop安装目录中的core-site.xml拷贝到spark的配置conf文件目录下即可(hdp-4)

cp core-site.xml /root/apps/spark-2.4.4-bin-hadoop2.7/conf/

2.将hive安装路径下的hive-site.xml拷贝到spark的配置conf配置文件目录下即可

cp hive-site.xml /root/apps/spark-2.4.4-bin-hadoop2.7/conf/

3.将 mysql-connector-java的压缩包拖到根目录下：mysql-connector-java-5.1.39.jar

注意：
若是高可用：需要将hadoop安装路径下的core-site,xml和hdfs-site.xml拷到spark的conf目录下

操作完成后建议重启集群
通过sparksql来操作（路径：cd apps/spark-2.4.4-bin-hadoop2.7/

bin/）

（1）启动spark-sql

./spark-sql --master spark://hdp-1:7077 --executor-memory 512m --total-executor-cores 2 --jars /root/mysql-connector-java-5.1.39.jar --driver-class-path /root/mysql-connector-java-5.1.39.jar

（2）创建表

create table default.person2(id int,name string,age int) row format delimited fields terminated by ' ';

（3）加载数据（本地加载）

load data local inpath '/root/livia.txt' into table person2;

其中livia.txt是保存在根目录下的文件，如果没有可以通过vi新建：

（4）查询全部

select * from person2;

结果： 

1       xiaoli              23
2       xiaozhao        29
3       xiaobai           34

（5）查询年龄大于30的

select name,age from person2 where age > 30 order by age;

 结果：xiaobai 34

（6）删除表person2