SparkSql学习

 

SparkSQL简介

什么是SparkSQL：spark SQL是spark的一个模块，主要用于进行结构化数据的处理。它提供的最核心的编程抽象就是DataFrame。

SparkSQL的作用：提供一个编程抽象（DataFrame） 并且作为分布式 SQL 查询引擎

DataFrame：它可以根据很多源进行构建，包括：结构化的数据文件，hive中的表，外部的关系型数据库，以及RDD

运行原理：将 Spark SQL 转化为 RDD， 然后提交到集群执行

特点

（1）容易整合

（2）统一的数据访问方式

（3）兼容 Hive

（4）标准的数据连接

SQLConetext

要使用Spark SQL，首先就得创建一个创建一个SQLContext对象，或者是它的子类的对象，比如HiveContext的对象。

JavaSparkContext sc = ...; 
SQLContext sqlContext = new SQLContext(sc);