1、介绍
spark SQL是构建在spark core模块上的四大模块之一,提供DataFrame等丰富的API,运行期间通过spark查询优化器翻译成物理执行计划,并行计算输出结果,底层计算原理用RDD计算实现。
2、standalone模式下的spark和hive集成
1、在 /soft/spark/conf 下创建 /soft/hive/conf/hive-site.xml 的软链接
ln -s /soft/hive/conf/hive-site.xml /soft/spark/conf/hive-site.xml
2、复制 /soft/hive/lib 下的mysql连接jar包到,spark的jars下
cp mysql-connector-java-5.1.44.jar /soft/spark/jars/
3、关闭 hive 的hive-site.xml 中的版本检查,否则会报版本不一致异常
hive.metastore.schema.verification
false
4、启动spark shell
//s101上开启
spark-shell --master spark://s101:7077
3、在 idea 中配置 spark sql 环境
1、新建scala模块,添加maven支持
2、添加依赖
org.apache.spark
spark-sql_2.11
2.1.0
org.apache.spark
spark-hive_2.11
2.1.0
mysql
mysql-connector-java
5.1.44
3、复制core-site.xml、hdfs-site.xml、hive-site.xml文件到模块的resources目录下