Spark SQL
霄嵩
这个作者很懒,什么都没留下…
展开
-
Spark SQL on Hive配置
1、在Spark的conf目录中 vi hive-site.xml hive.metastore.uris thrift://tgmaster:9083 Thrift URI for the remote metastore.Used by metastore client to connect to metastore. 2、在Spark的li原创 2016-11-03 15:20:51 · 346 阅读 · 0 评论 -
DataFrame案例
package SparkSQLDemoimport org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkConf, SparkContext}/** * Created by tg on 10/27/16. */object SqlDemo { def main(args: Array原创 2016-10-28 11:05:05 · 889 阅读 · 0 评论 -
通过反射方式将RDD转换为DataFrame
package SparkSQLDemoimport org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkConf, SparkContext}/** * Created by tg on 10/27/16. * 通过反射方式将RDD转换成DataFrame *///注意:此时需要ext原创 2016-10-28 11:06:01 · 470 阅读 · 0 评论 -
通过编程方式将RDD转换成DataFrame
package SparkSQLDemoimport org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}import org.apache.spark.sql.{Row, SQLContext}import org.apache.spark.{SparkConf, Spark原创 2016-10-28 11:08:03 · 2268 阅读 · 0 评论 -
Spark SQL工作原理剖析和性能优化
一、工作原理剖析: Spark SQL 架构中主要有这几个关键的组件:SqlParser(Sql分析程序) ,Analyser(分析器) ,Optimizer(优化器) ,SparkPlan(Spark计划) SparkSQL大致的执行流程是这样的: 1. SQL 语句经过SqlParser 完成sql 语句的语法解析功能,解析成Unresolved LogicalPlan(未解析的逻辑计划...原创 2018-03-11 18:25:45 · 787 阅读 · 0 评论