[Spark][spark_sql]#1_sparksql入门

最新推荐文章于 2022-09-13 16:35:53 发布

PeppaKing

最新推荐文章于 2022-09-13 16:35:53 发布

阅读量90

点赞数

分类专栏： spark 文章标签： spaek_sql

本文链接：https://blog.csdn.net/qq_30782921/article/details/91353822

版权

spark 专栏收录该内容

16 篇文章 1 订阅

订阅专栏

SQLContext的使用

object SQLContextApp {
  def main(args: Array[String]): Unit = {

    val path = "../resources/people.json"

    //1.创建相应Context

    val sparkConf = new SparkConf()
    sparkConf.setAppName("SQLContextApp").setMaster("local[2]")
    val sc = new SparkContext()
    val sqlContext = new SQLContext(sc)




    //2.相关处理:json
    val people = sqlContext.read.format("json").load(path)
    people.printSchema()
    people.show()


    //3.关闭资源
    sc.stop()


  }
}

./bin/spark-submit --class com.spark.SQLContextApp --master local[2] /home/root/lib/sql-1.0.jar /home/root/app/spark-2.1.0-bin-hadoop2.6/examples/src/main/resources/people.json

HiveContext的使用

import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.{SparkConf, SparkContext}

/**
 * HiveContext的使用
 * 使用时需要通过--jars 把mysql的驱动传递到classpath
 */
object HiveContextApp {

  def main(args: Array[String]) {
    //1)创建相应的Context
    val sparkConf = new SparkConf()

    //在测试或者生产中，AppName和Master我们是通过脚本进行指定
    //sparkConf.setAppName("HiveContextApp").setMaster("local[2]")

    val sc = new SparkContext(sparkConf)
    val hiveContext = new HiveContext(sc)

    //2)相关的处理:
    hiveContext.table("emp").show

    //3)关闭资源
    sc.stop()
  }

}

SparkSession的使用

import org.apache.spark.sql.SparkSession

/**
 * SparkSession的使用
 */
object SparkSessionApp {

  def main(args: Array[String]) {

    val spark = SparkSession.builder().appName("SparkSessionApp")
      .master("local[2]").getOrCreate()

    val people = spark.read.json("file:///Users/root/data/people.json")
    people.show()

    spark.stop()
  }
}