SparkSQL环境搭建、SQL VS DSL

已于 2022-05-16 15:54:33 修改
阅读量485 收藏 1
点赞数
分类专栏： 初学大数据 Spark基础 文章标签： Spark
于 2022-05-16 15:01:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZZJXP/article/details/124793381
版权 
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.4.5</version>
</dependency>

package com.shujia.sql

import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, SparkSession}

object Demo01SparkSessio {
  def main(args: Array[String]): Unit = {
    //创建一个Spark SQL的入口 SparkSession
    val spark: SparkSession = SparkSession
      .builder()
      .appName("Demo01SparkSessio")
      .master("local")
      .getOrCreate()

    //获取SparkContext
    val sc: SparkContext = spark.sparkContext

    //通过SparkContext读取文件
    val stuRDD: RDD[String] = sc.textFile("Spark/data/students.txt")

    //打印
    stuRDD.take(10).foreach(println)

    //通过SparkSession读取文件
    val stuDF: DataFrame = spark
      .read
      .format("csv") //指定读取文件的格式
      .option("sep", ",") //指定分隔符
      .schema("id String,name String,age Int,gender String,clazz String")
      .load("Spark/data/students.txt")

    //打印
    stuDF.show(10)//指定打印的行数
    stuDF.show(5,false)//如果某列数据太长 默认会被截断
    stuDF.show()//如果什么都不指定 默认打印20条
  }
}

1500100001,施笑槐,22,女,文科六班
1500100002,吕金鹏,24,男,文科六班
1500100003,单乐蕊,22,女,理科六班
1500100004,葛德曜,24,男,理科三班
1500100005,宣谷芹,22,女,理科五班
1500100006,边昂雄,21,男,理科二班
1500100007,尚孤风,23,女,文科六班
1500100008,符半双,22,女,理科六班
1500100009,沈德昌,21,男,理科一班
1500100010,羿彦昌,23,男,理科六班

+----------+------+---+------+--------+
|        id|  name|age|gender|   clazz|
+----------+------+---+------+--------+
|1500100001|施笑槐| 22|    女|文科六班|
|1500100002|吕金鹏| 24|    男|文科六班|
|1500100003|单乐蕊| 22|    女|理科六班|
|1500100004|葛德曜| 24|    男|理科三班|
|1500100005|宣谷芹| 22|    女|理科五班|
|1500100006|边昂雄| 21|    男|理科二班|
|1500100007|尚孤风| 23|    女|文科六班|
|1500100008|符半双| 22|    女|理科六班|
|1500100009|沈德昌| 21|    男|理科一班|
|1500100010|羿彦昌| 23|    男|理科六班|
+----------+------+---+------+--------+
only showing top 10 rows

+----------+------+---+------+--------+
|id        |name  |age|gender|clazz   |
+----------+------+---+------+--------+
|1500100001|施笑槐|22 |女    |文科六班|
|1500100002|吕金鹏|24 |男    |文科六班|
|1500100003|单乐蕊|22 |女    |理科六班|
|1500100004|葛德曜|24 |男    |理科三班|
|1500100005|宣谷芹|22 |女    |理科五班|
+----------+------+---+------+--------+
only showing top 5 rows


+----------+------+---+------+--------+
|        id|  name|age|gender|   clazz|
+----------+------+---+------+--------+
|1500100001|施笑槐| 22|    女|文科六班|
|1500100002|吕金鹏| 24|    男|文科六班|
|1500100003|单乐蕊| 22|    女|理科六班|
|1500100004|葛德曜| 24|    男|理科三班|
|1500100005|宣谷芹| 22|    女|理科五班|
|1500100006|边昂雄| 21|    男|理科二班|
|1500100007|尚孤风| 23|    女|文科六班|
|1500100008|符半双| 22|    女|理科六班|
|1500100009|沈德昌| 21|    男|理科一班|
|1500100010|羿彦昌| 23|    男|理科六班|
|1500100011|宰运华| 21|    男|理科三班|
|1500100012|梁易槐| 21|    女|理科一班|
|1500100013|逯君昊| 24|    男|文科二班|
|1500100014|羿旭炎| 23|    男|理科五班|
|1500100015|宦怀绿| 21|    女|理科一班|
|1500100016|潘访烟| 23|    女|文科一班|
|1500100017|高芷天| 21|    女|理科五班|
|1500100018|骆怜雪| 21|    女|文科六班|
|1500100019|娄曦之| 24|    男|理科三班|
|1500100020|杭振凯| 23|    男|理科四班|
+----------+------+---+------+--------+
only showing top 20 rows

package com.shujia.sql

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, Row, SparkSession}

object Demo02WordCount {
  def main(args: Array[String]): Unit = {
    //创建SparkSession
    val spark: SparkSession = SparkSession
      .builder()
      .appName("Demo02WordCount")
      .master("local")
      .config("spark.sql.shuffle.partitions",2)//默认200
      .getOrCreate()

    //统计每个单词的数量

    //读取单词数据并构建DataFrame
    val lineDF: DataFrame = spark
      .read
      .format("csv")
      .option("sep", "|")
      .schema("line String")
      .load("Spark/data/wordCnt/input")

//    lineDF.show()

    //将DataFrame注册成表 即可使用Spark SQL进行查询
    lineDF.createOrReplaceTempView("word_count")

    //SQL 的格式
    spark.sql(
      """
        |select t1.word
        |       ,count(*) as cnt
        |from
        |(
        |        select explode(split(line, ",")) as word
        |        from word_count
        | ) t1 group by t1.word
        |""".stripMargin).show()

    //导入Spark SQL提供的所有的方法
    import org.apache.spark.sql.functions._
    //导入Spark sql的隐式转换
    import spark.implicits._

    //DSL 的方式
    lineDF
      .select(explode(split($"line",","))as "word")
      .groupBy($"word")
      .agg(count("*")as "cnt")
      .show()

    //RDD方式
    val lineRDD: RDD[Row] = lineDF.rdd

    lineRDD
      //Row 表示DF中的一行数据 是具有结构的 可以通过getAS方法提取每一列数据
      .map(row=>{
        val line: String = row.getAs[String]("line")
        line.split(",")
        line
      }).map(word=>(word,1))
      .reduceByKey(_+_)
      .foreach(println)

    while (true) {

    }
  }
}

+------+---+
|  word|cnt|
+------+---+
|  java| 56|
| spark| 28|
|hadoop| 28|
+------+---+
 

+------+---+
|  word|cnt|
+------+---+
|  java| 56|
| spark| 28|
|hadoop| 28|
+------+---+
 

(java,spark,java,hadoop,16)
(java,spark,java,hadoop,java,spark,java,hadoop,java,spark,java,hadoop,java,spark,java,hadoop,1)
(java,spark,java,hadoop,java,spark,java,hadoop,1)
(java,spark,java,hadoop,java,spark,java,hadoop,java,spark,java,hadoop,2)

package com.shujia.sql

import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.{Column, DataFrame, SparkSession}
import org.apache.spark.storage.StorageLevel

object Demo03Burk {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession
      .builder()
      .master("local")
      .appName("Demo03Burk")
      .config("spark.sql.shuffle.partitions", 1)
      .getOrCreate()

    import spark.implicits._
    import org.apache.spark.sql.functions._

    //1、读取数据
    val burk: DataFrame = spark.read
      .format("csv")
      .option("sep", ",")
      .schema("burk STRING,year STRING,tsl01 DOUBLE,tsl02 DOUBLE,tsl03 DOUBLE,tsl04 DOUBLE,tsl05 DOUBLE,tsl06 DOUBLE,tsl07 DOUBLE,tsl08 DOUBLE,tsl09 DOUBLE,tsl10 DOUBLE,tsl11 DOUBLE,tsl12 DOUBLE")
      .load("Spark/data/burk.txt")

    //对多次使用的 DF 进行缓存 -- 优化
    burk.persist(StorageLevel.MEMORY_ONLY_SER)

    //将 DF 注册成一个临时的视图
    burk.createOrReplaceTempView("burk")

    /**
     *
     * 1、统计每个公司每年按月累计收入  行转列 --> sum窗口函数
     * 输出结果
     * 公司代码,年度,月份,当月收入,累计收入
     *
     */
    spark.sql(
      """
        |
        |select
        |burk,year,month,pic,sum(pic) over(partition by burk,year order by month) as sumPic
        |from (
        |select
        |burk,year,month,pic
        |from
        |burk lateral view explode(map(1,tsl01,2,tsl02,3,tsl03,4,tsl04,5,tsl05,6,tsl06,7,tsl07,8,tsl08,9,tsl09,10,tsl10,11,tsl11,12,tsl12)) t1 as month,pic
        |) as a
        |
      """.stripMargin)
    //.show()

    /**
     * 再以DSL实现
     *
     */

    // 将map拿到外面定义
    // map中要的是 字段(列)的对象的可变参数
    // 但是这里 1 -- 基本数据类型
    // 所以这边需要用 expr("1") 去转换一下
    // 将 1 转成列的对象
    val m: Column = map(
      expr("1"), $"tsl01",
      expr("2"), $"tsl02",
      expr("3"), $"tsl03",
      expr("4"), $"tsl04",
      expr("5"), $"tsl05",
      expr("6"), $"tsl06",
      expr("7"), $"tsl07",
      expr("8"), $"tsl08",
      expr("9"), $"tsl09",
      expr("10"), $"tsl10",
      expr("11"), $"tsl11",
      expr("12"), $"tsl12"
    )

    burk
      //将多列转换多行
      .select($"burk", $"year", explode(m) as Array("month", "pic"))
      //计算累计金额
      .withColumn("sumPic", sum($"pic") over Window.partitionBy($"burk", $"year").orderBy($"month"))
    //.show(100)


    /**
     * 2、统计每个公司当月比上年同期增长率  行转列 --> lag窗口函数
     * 公司代码,年度,月度,增长率（当月收入/上年当月收入 - 1）
     */
    burk
      //将多列转换多行
      .select($"burk", $"year", explode(m) as Array("month", "pic"))
      //湖区上年同期的收入金额
      .withColumn("lastPic", lag($"pic", 1, 0) over Window.partitionBy($"burk", $"month").orderBy($"year"))
      //计算增长率
      .withColumn("p", $"pic" / $"lastPic" - 1)
      //整理数据 -- 这里只有代码中的if，没有if函数，所以使用case……when……[在DSL中是when(表达式,为true返回的值).otherwise(为false返回的值)]
      .select($"burk", $"year", $"month", when($"p".isNull, 1.0).otherwise(round($"p", 5)) as "p")

      .show(1000)

  }
}

 

+------+----+-----+--------+
|  burk|year|month|       p|
+------+----+-----+--------+
|  null|null|    1|     1.0|
|  null|null|    1|     1.0|
|  null|null|    2|     1.0|
|  null|null|    2|     1.0|
|  null|null|    3|     1.0|
|  null|null|    3|     1.0|
|  null|null|    4|     1.0|
|  null|null|    4|     1.0|
|  null|null|    5|     1.0|
|  null|null|    5|     1.0|
|  null|null|    6|     1.0|
|  null|null|    6|     1.0|
|  null|null|    7|     1.0|
|  null|null|    7|     1.0|
|  null|null|    8|     1.0|
|  null|null|    8|     1.0|
|  null|null|    9|     1.0|
|  null|null|    9|     1.0|
|  null|null|   10|     1.0|
|  null|null|   10|     1.0|
|  null|null|   11|     1.0|
|  null|null|   11|     1.0|
|  null|null|   12|     1.0|
|  null|null|   12|     1.0|
|846271|2010|    1|     1.0|
|846271|2011|    1|  1.0E-5|
|846271|2012|    1|  1.0E-5|
|846271|2013|    1|  1.0E-5|
|846271|2014|    1|  1.0E-5|
|846271|2015|    1|  1.0E-5|
|846271|2016|    1|  1.0E-5|
|846271|2017|    1|  1.0E-5|
|846271|2018|    1|  1.0E-5|
|846271|2019|    1|  1.0E-5|
|846271|2010|    2|     1.0|
|846271|2011|    2|  4.0E-5|
|846271|2012|    2| 3.00644|
|846271|2013|    2|  1.0E-5|
|846271|2014|    2|  1.0E-5|
|846271|2015|    2|  1.0E-5|
|846271|2016|    2|  1.0E-5|
|846271|2017|    2|  1.0E-5|
|846271|2018|    2|  1.0E-5|
|846271|2019|    2|  1.0E-5|
|846271|2010|    3|     1.0|
|846271|2011|    3| 0.12844|
|846271|2012|    3| 0.03799|
|846271|2013|    3| 0.05483|
|846271|2014|    3| 0.05203|
|846271|2015|    3| 0.04941|
|846271|2016|    3| 0.04712|
|846271|2017|    3| 0.04496|
|846271|2018|    3| 0.04307|
|846271|2019|    3| 0.04125|
|846271|2010|    4|     1.0|
|846271|2011|    4|-0.49851|
|846271|2012|    4|-0.68465|
|846271|2013|    4|-0.22764|
|846271|2014|    4|-0.29493|
|846271|2015|    4|-0.41801|
|846271|2016|    4|-0.71825|
|846271|2017|    4| 0.55095|
|846271|2018|    4| 1.64365|
|846271|2019|    4| 0.62174|
|846271|2010|    5|     1.0|
|846271|2011|    5|-0.47891|
|846271|2012|    5| 2.09946|
|846271|2013|    5|-0.04364|
|846271|2014|    5|-0.04565|
|846271|2015|    5|   -0.55|
|846271|2016|    5| 1.00969|
|846271|2017|    5| -0.0529|
|846271|2018|    5|-0.05582|
|846271|2019|    5|-0.05915|
|846271|2010|    6|     1.0|
|846271|2011|    6|-0.09739|
|846271|2012|    6| 4.01833|
|846271|2013|    6|-0.02985|
|846271|2014|    6|-0.03078|
|846271|2015|    6|-0.63245|
|846271|2016|    6| 1.54791|
|846271|2017|    6|-0.03391|
|846271|2018|    6| -0.0351|
|846271|2019|    6|-0.03636|
|846271|2010|    7|     1.0|
|846271|2011|    7| 0.37132|
|846271|2012|    7| 2.08573|
|846271|2013|    7|-0.02479|
|846271|2014|    7|-0.02543|
|846271|2015|    7|-0.76061|
|846271|2016|    7|  7.0E-5|
|846271|2017|    7| 0.42417|
|846271|2018|    7|  2.0E-5|
|846271|2019|    7|-0.57959|
|846271|2010|    8|     1.0|
|846271|2011|    8|  3.0E-5|
|846271|2012|    8| 4.78447|
|846271|2013|    8|-0.02216|
|846271|2014|    8|-0.02265|
|846271|2015|    8|-0.88001|
|846271|2016|    8| 0.50744|
|846271|2017|    8|  3.0E-5|
|846271|2018|    8|  3.0E-5|
|846271|2019|    8|  0.4242|
|846271|2010|    9|     1.0|
|846271|2011|    9|  5.0E-5|
|846271|2012|    9| 9.81418|
|846271|2013|    9|-0.02054|
|846271|2014|    9|-0.02097|
|846271|2015|    9|-0.84905|
|846271|2016|    9|-0.36127|
|846271|2017|    9|  5.0E-5|
|846271|2018|    9|  5.0E-5|
|846271|2019|    9|-0.21458|
|846271|2010|   10|     1.0|
|846271|2011|   10|  3.0E-5|
|846271|2012|   10| 7.24585|
|846271|2013|   10|-0.01945|
|846271|2014|   10|-0.01984|
|846271|2015|   10|-0.82697|
|846271|2016|   10| -0.2708|
|846271|2017|   10|  3.0E-5|
|846271|2018|   10|  3.0E-5|
|846271|2019|   10|-0.42349|
|846271|2010|   11|     1.0|
|846271|2011|   11|  9.0E-5|
|846271|2012|   11|25.04872|
|846271|2013|   11|-0.01867|
|846271|2014|   11|-0.01902|
|846271|2015|   11|-0.89164|
|846271|2016|   11|  0.3716|
|846271|2017|   11|-0.27088|
|846271|2018|   11|  3.0E-5|
|846271|2019|   11| 0.37147|
|846271|2010|   12|     1.0|
|846271|2011|   12|  5.0E-5|
|846271|2012|   12|14.55035|
|846271|2013|   12|-0.01807|
|846271|2014|   12|-0.01841|
|846271|2015|   12|-0.01875|
|846271|2016|   12|-0.01911|
|846271|2017|   12|-0.01948|
|846271|2018|   12|-0.01987|
|846271|2019|   12|-0.02027|
|853101|2010|    1|     1.0|
|853101|2011|    1|-0.80593|
|853101|2012|    1|  5.0E-5|
|853101|2013|    1| 0.05723|
|853101|2014|    1|-0.05404|
|853101|2015|    1| 4.15219|
|853101|2016|    1|  1.0E-5|
|853101|2017|    1|  1.0E-5|
|853101|2018|    1|  1.0E-5|
|853101|2019|    1|  1.0E-5|
|853101|2010|    2|     1.0|
|853101|2011|    2|-0.17783|
|853101|2012|    2|  5.0E-5|
|853101|2013|    2|-0.27032|
|853101|2014|    2|  0.3706|
|853101|2015|    2| 0.21635|
|853101|2016|    2|  4.0E-5|
|853101|2017|    2|  4.0E-5|
|853101|2018|    2|  4.0E-5|
|853101|2019|    2|  4.0E-5|
|853101|2010|    3|     1.0|
|853101|2011|    3| -0.2286|
|853101|2012|    3|  7.0E-5|
|853101|2013|    3| 0.14936|
|853101|2014|    3|-0.12984|
|853101|2015|    3| 0.29642|
|853101|2016|    3|  5.0E-5|
|853101|2017|    3|-0.11375|
|853101|2018|    3| 1.37902|
|853101|2019|    3|-0.57961|
|853101|2010|    4|     1.0|
|853101|2011|    4|-0.16141|
|853101|2012|    4|  6.0E-5|
|853101|2013|    4| 1.37902|
|853101|2014|    4|-0.57961|
|853101|2015|    4| 0.19256|
|853101|2016|    4|  5.0E-5|
|853101|2017|    4|  1.9E-4|
|853101|2018|    4| 0.40019|
|853101|2019|    4| 0.42417|
|853101|2010|    5|     1.0|
|853101|2011|    5| 1.73489|
|853101|2012|    5|-0.49849|
|853101|2013|    5|-0.16177|
|853101|2014|    5| 1.37902|
|853101|2015|    5|-0.57961|
|853101|2016|    5|  6.0E-5|
|853101|2017|    5|-0.12978|
|853101|2018|    5| 0.91907|
|853101|2019|    5|  3.0E-5|
|853101|2010|    6|     1.0|
|853101|2011|    6| 0.67087|
|853101|2012|    6|-0.47888|
|853101|2013|    6| 0.37067|
|853101|2014|    6| 0.40019|
|853101|2015|    6| 0.42417|
|853101|2016|    6|  2.0E-5|
|853101|2017|    6|-0.57959|
|853101|2018|    6| 0.10785|
|853101|2019|    6|  5.0E-5|
|853101|2010|    7|     1.0|
|853101|2011|    7|-0.53418|
|853101|2012|    7|-0.09726|
|853101|2013|    7|-0.12978|
|853101|2014|    7| 0.91907|
|853101|2015|    7|  3.0E-5|
|853101|2016|    7|  3.0E-5|
|853101|2017|    7|  0.4242|
|853101|2018|    7| -0.2708|
|853101|2019|    7|  3.0E-5|
|853101|2010|    8|     1.0|
|853101|2011|    8|  3.0E-5|
|853101|2012|    8|  3.0E-5|
|853101|2013|    8|-0.40108|
|853101|2014|    8| 0.10785|
|853101|2015|    8|  5.0E-5|
|853101|2016|    8|  5.0E-5|
|853101|2017|    8|-0.21458|
|853101|2018|    8| 0.91907|
|853101|2019|    8|  3.0E-5|
|853101|2010|    9|     1.0|
|853101|2011|    9|  5.0E-5|
|853101|2012|    9|  5.0E-5|
|853101|2013|    9| 1.14772|
|853101|2014|    9| -0.2708|
|853101|2015|    9|  3.0E-5|
|853101|2016|    9|  3.0E-5|
|853101|2017|    9|-0.42349|
|853101|2018|    9| 0.10785|
|853101|2019|    9|  5.0E-5|
|853101|2010|   10|     1.0|
|853101|2011|   10|  3.0E-5|
|853101|2012|   10|  3.0E-5|
|853101|2013|   10|  3.0E-5|
|853101|2014|   10|  0.3716|
|853101|2015|   10|-0.27088|
|853101|2016|   10|  3.0E-5|
|853101|2017|   10| 0.37147|
|853101|2018|   10| -0.2708|
|853101|2019|   10|  3.0E-5|
|853101|2010|   11|     1.0|
|853101|2011|   11|  9.0E-5|
|853101|2012|   11|  9.0E-5|
|853101|2013|   11|  9.0E-5|
|853101|2014|   11| 1.61876|
|853101|2015|   11|-0.61807|
|853101|2016|   11|  9.0E-5|
|853101|2017|   11| 1.61804|
|853101|2018|   11|-0.61797|
|853101|2019|   11|  9.0E-5|
|853101|2010|   12|     1.0|
|853101|2011|   12|  5.0E-5|
|853101|2012|   12|  5.0E-5|
|853101|2013|   12|  5.0E-5|
|853101|2014|   12|  5.0E-5|
|853101|2015|   12|  5.0E-5|
|853101|2016|   12|  5.0E-5|
|853101|2017|   12|  5.0E-5|
|853101|2018|   12|  5.0E-5|
|853101|2019|   12|  5.0E-5|
+------+----+-----+--------+

小胖超凶哦！
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
XSQL：基于SparkSQL的统一SQL分析引擎
01-30
| XSQL是一种易于使用，运行稳定的多数据源查询引擎。1）首先，XSQL提供了一种使用标准SQL从NoSQL数据库读取数据的解决方案，因此大数据工程师可以专注于数据，而API具有特殊数据源。 2）XSQL致力于优化SQL执行的执行计划以及监视每个SQL的运行状态，从而使用户的工作运行更健康。 产品特点 XSQL现在支持八个内置数据源（例如，Hive，Mysql，EleasticSearch，Mongo，Kafka，Hbase，Redis，Druid）。 XSQL设计了一个3-layer metadata architecture来组织数据，即数据源-数据库表。 因此，我们可以提供许多数据源的统一视图，而不再需要在离线数据和在线数据之间进行业务分析。 XSQL的主要思想是SQL Everything ，SQL让程序与具体的数据源API分离，因此DBA可以升级数据，但需要考虑如何迁移旧任务。 更重要的是，数据分析人员更喜欢SQL而不是特殊的API。 XSQL仅在必要时使用YARN群集资源，此功能对某些使用情况很有用，例如用户将spark-xsql替换为RDMS Client。 我们
sparksql整合hive的环境搭建
fa124607857的博客
11-01 1365
SparkSQL主要目的是使得用户可以在Spark上使用SQL，其数据源既可以是RDD，也可以是外部的数据源（比如文本、Hive、Json等）。SparkSQL的其中一个分支就是Spark onHive，也就是使用Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业。SparkSql整合hive就是获取hive表中...
Spark SQL 高级编程之 Hadoop、Hive、Spark 环境搭建
David's Notes
02-20 607
Spark SQL 高级编程之开发环境设置1. 如何学好大数据2. 开发环境 1. 如何学好大数据 官网（五颗星），多看官网 项目实战对知识点进行巩固和融会贯通 社区活动，交个朋友，认识一些人，对跳槽就业有好处 切记：多动手、多联系、贵在坚持 2. 开发环境 Linux 系统根据自己爱好即可，一般建议 Ubuntu，生态全 Hadoop 版本 Apache 社区，看看就好 CDH 版本，国...
如何开发SparkSQL项目？
.
10-24 834
前言 Spark是企业中用的比较多的大数据计算框架，它主要由 SparkCore、SparkSQL、SparkStreaming 这三个模块组成，实时计算主要使用 SparkStreaming，离线部分的数据处理则主要使用SparkSQL。开发 SparkSQL 程序的一般流程是：读取 HDFS 上的文件 => 装换成 RDD => 注册成临时表 => 调用 SparkSQL 的...
Spark 环境搭建 阿善没用
okbin1991的博客
01-05 184
Spark环境搭建 学习目标 1.了解Spark发展史 2.完成Spark环境搭建 3.掌握Spark入门案例-WordCount 4.完成将Spark任务提交到Yarn 1. 课程说明 1.1 课程安排 整个Spark 框架课程分为如下9个部分，如下图所示： 第1章：Spark环境搭建 第2章：SparkCore 第3章：SparkStreaming 第4章：SparkSQL 第5章：S...
大数据进阶之路——Spark SQL环境搭建
孙中明
09-30 2337
文章目录大数据概述大数据组成HDFS概述环境搭建HDFS命令YARN架构详解YARN执行流程YARN环境搭建配置虚拟机 大数据概述 定义和特征 海量的计算 大量的用户全体 数据分析 数据管理 4V特征 1.Volume（大量）   截至目前，人类生产的所有印刷材料的数据量是200PB，而历史上全人类总共说过的话的数据量大约是5EB。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。 2.Velocity（高速）   这是大数据区分于传统数据挖掘的最显著特征。根据
SparkSql搭建
数据技术控
11-19 997
Spark on yarn已搭建好，开始使用SparkSql，做如下工作
Spark SQL 笔记(3)——Spark 环境搭建
一角残叶的博客
11-01 567
1 local 模式 直接运行即可 2 Standalone 模式 和 Hadoop/HDFS 的架构类似 /home/hadoop/apps/spark-2.1.3-bin-2.6.0-cdh5.7.0/conf 2.1 spark-env.sh SPARK_MASTER_HOST=node1 SPARK_WORKER_CORES=1 SPARK_WORKER_MEMORY=1g SPARK...
sparkSQL1.1入门之五：测试环境之搭建
mmicky的hadoop、Spark世界
09-10 6799
前面介绍了sparkSQL的运行架构，后面将介绍sparkSQL的使用。在介绍sparkSQL的使用之前，我们需要搭建一个sparkSQL的测试环境。本次测试环境涉及到hadoop之HDFS、hive、spark以及相关的数据文件，相关的信息如下： hadoop版本为2.2.0hive版本为0.13spark版本为1.1.0-rc3MySQL版本为5.6.12测试数据下载地点：http:
window+sparksql+hive+debug sparksql本地环境搭建
u010463032的博客
01-24 355
步骤 1 deom代码 2 安装配置jdk1.8 3 安装配置scala2.11.18 4 导入pom.xml中依赖jar：注意scala版本要和spark依赖的保持一致 5 下载Hadoop的bin包,设定环境变量HADOOP_HOME，值为解压后的目录 6 下载winutils.exe将其放到$HADOOP_HOME/bi
sqlserver非域环境集群镜像搭建
07-23
资源名称：sqlserver非域环境集群镜像搭建资源截图： 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
SQL环境搭建教程
03-20
SQL环境搭建教程 目录： (一) SQL安装常识 (二)什么是"附加数据库"和新"建立数据库"以及的区别 (三)数据库导入与导出 (四)数据库收缩与分离 (五)数据库备份/还原 (六)(安装常见错误 (七)如何测试SQL (八)ACCESS转化...
sql server 在windos server 环境搭建安装
02-01
sql server主从搭建
elasql:通用SQL到Elasticsearch DSL查询转换器
04-28
通用SQL到Elasticsearch DSL查询转换器。 专为设计 地位 实验性-加入我们，骇客入侵！ 安装 npm install elasql 用法 const convert = require('elasql').convert convert('SELECT id,name FROM shop WHERE shop_id...
后端开发是一个涉及广泛技术和工具的领域.docx
04-30
后端开发是一个涉及广泛技术和工具的领域，这些资源对于构建健壮、可扩展和高效的Web应用程序至关重要。以下是对后端开发资源的简要介绍： 首先，掌握一门或多门编程语言是后端开发的基础。Java、Python和Node.js是其中最受欢迎的几种。Java以其跨平台性和丰富的库而著名，Python则因其简洁的语法和广泛的应用领域而备受欢迎。Node.js则通过其基于JavaScript的单线程异步I/O模型，为Web开发提供了高性能的解决方案。 其次，数据库技术是后端开发中不可或缺的一部分。关系型数据库（如MySQL、PostgreSQL）和非关系型数据库（如MongoDB、Redis）各有其特点和应用场景。关系型数据库适合存储结构化数据，而非关系型数据库则更适合处理大量非结构化数据。 此外，Web开发框架也是后端开发的重要资源。例如，Express是一个基于Node.js的Web应用开发框架，它提供了丰富的API和中间件支持，使得开发人员能够快速地构建Web应用程序。Django则是一个用Python编写的Web应用框架，它采用了MVC的软件设计模式，使得代码结构更加清晰和易于维护。
华为数字化转型实践28个精华问答glkm.pptx
04-30
华为数字化转型实践28个精华问答glkm.pptx
新员工入职培训全流程资料包gl.zip
04-30
新员工入职培训全流程资料包（100+个文件） 1入职流程指引 万科新职员入职通知书 万科新职员入职引导手册 新进员工跟进管理表 新员工入职报到工作单(文职) 新员工入职报到流程 新员工入职流程表 新员工入职手续办理流程(工厂 新员工入职手续清单 新员工入职须知 新员工入职训流程 新员工入职引导表(导师用) 2 入职工具表格 3 培训方案计划 4培训管理流程 5培训教材课件 6 培训效果检测 7 员工管理制度 8 劳动合同协议 9 新员工培训PPT模板(28套)
三菱PLC通讯程序实例
04-30
FX5U PLC作为主、从站的通讯方式程序实例，以及包含详细说明文件...
技术需求报告-集行波测距与故障录波功能于一体的电网综合故障分析系统.docx
最新发布
04-30
技术需求报告-集行波测距与故障录波功能于一体的电网综合故障分析系统.docx
sparksql环境搭建
12-22
根据提供的引用内容，以下是搭建Spark SQL环境的步骤： 1. 下载软件包：首先，你需要下载Spark软件包。你可以从官方网站上下载最新版本的Spark。 2. 配置Hadoop环境：在搭建Spark SQL环境之前，你需要先配置好Hadoop环境。你可以按照Hadoop的官方文档进行配置。 3. 安装Hive：Spark SQL可以与Hive集成，因此你需要安装Hive。你可以按照Hive的官方文档进行安装。 4. 搭建Spark环境：接下来，你需要搭建Spark环境。你可以按照Spark的官方文档进行搭建。 5. 配置Maven环境：如果你需要使用Maven来构建Spark项目，你需要配置Maven环境。你可以按照Maven的官方文档进行配置。 6. 编译Python Linux版本：如果你需要在Linux上使用Python编写Spark程序，你需要编译Python Linux版本。你可以按照Spark的官方文档进行编译。 7. 使用Spark源码安装：如果你想使用Spark的源码进行安装，你可以按照Spark的官方文档进行操作。 请注意，以上步骤仅为搭建Spark SQL环境的一般步骤，具体步骤可能因环境和需求而有所不同。建议你参考官方文档以获得更详细的指导。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值