idea spark sql一

package cn.tedu.sql

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext

object Driver {

def main(args: Array[String]): Unit = {
val conf=new SparkConf().setMaster(“local”).setAppName(“sql”)

val sc=new SparkContext(conf)

//--创建SparkSql的上下文对象,用于将RDD->DataFrame,并可以提供基于sql方式操作表
val sqc=new SQLContext(sc)

val r1=sc.makeRDD(List((1,"tom",23),(2,"rose",18),(3,"jim",30),(4,"jary",20)))

//val df=sqc.createDataFrame(r1).toDF("id","name","age")

import sqc.implicits._
//--隐式的将RDD转变为DataFrame,即省略了createDataFrame方法
val df=r1.toDF("id","name","age")

df.registerTempTable("tb1")
val result=sqc.sql("select * from tb1 where age>20")

//--将查询结果存储
val resultRDD=result.toJavaRDD

resultRDD.saveAsTextFile("c://data/sql-result")

}
}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值