spark-slq

spark 专栏收录该内容
5 篇文章 0 订阅
package com.base.spark
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql._
import org.apache.spark.sql.hive.HiveContext


object Test_03 {
  def main(args: Array[String] ){
     /**  
      * 第1步,创建Spark的配置对象SparkConf ,设置Spark程序的运行时的配置信息。
      * */
     val conf = new SparkConf() ;//创建SparkConf 对象
     conf.setAppName("Wow,my  first spark app"); // 设置应用程序的名称,在程序运行的监控面可以看到名称
     conf.setMaster("local");//此时,程序在本地运行,不需要安装Spark集群
     /**
      * 第2步:创建SparkContext 对象
      * Sparkcontext 是spark 程序所有功能的唯一入口,无论是采用Scala ,Java 、Python, R等都必须有一个Spark
      * Sparkcontext 核心作用:初始spark 应用程序 运行所有需要的核心组件,DAGScheduker,TaskScheduker
      * 同时还会负责Spark程序Master注册程序
      * Sparkcontext 是整个 应用中最为至关重要的一个对象
      * 
      * */
     val sc = new SparkContext(conf);//创建sparkContext对象,通过sparkConf实例来定制spark运行
     
  // val hiveContext = new HiveContext(sc)
   val sqlContext = new SQLContext(sc)
   
     //sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
    //sqlContext.sql(s"LOAD DATA LOCAL INPATH '${kv1File.getAbsolutePath}' INTO TABLE src")

    // Queries are expressed in HiveQL
  /*  println("Result of 'SELECT *': ")
    sqlContext.sql("SELECT * FROM src").collect().foreach(println)*/
     
     val person = sc.textFile("G:/tools/64bit/spark-2.2.0-bin-hadoop2.7/people.json")
    val df =  sqlContext.read.json("G:/tools/64bit/spark-2.2.0-bin-hadoop2.7/people.json")
    println(df.show())
    
    println(df.select("name").show())
   var list = List()
    
    //var rdd1 = sc.parallelize([Row(name="Michael",age=29),Row(name="Andy", age=30),Row(name="Justin", age=19)])
     
     
     
   }
  
}

 

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值