sparkSQL结合hive的入门程序

最新推荐文章于 2022-09-08 01:08:06 发布

gamedev˚

最新推荐文章于 2022-09-08 01:08:06 发布

阅读量331

点赞数

分类专栏：【大数据】➣ Spark 文章标签： SparkSQL

欢迎转载，注明作者和出处就好！如果有任何问题或文章存在明显的谬误，请留言说明原因谢谢，我也可以知道原因，不断进步！

本文链接：https://blog.csdn.net/coder__cs/article/details/79201346

版权

【大数据】➣ Spark 专栏收录该内容

17 篇文章 0 订阅

订阅专栏

学习sparkSQL时最简单的一个示例，是用json格式的文件充当hive表，并注册为临时表，然后用hiveQL的API来查询得出需要的结果。

package spark.sparkSQL

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.hive.HiveContext

object sparksql {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("sparksql").setMaster("local")
    val sc = new SparkContext(conf)

    sc.setLogLevel("ERROR")

    val hiveCtx = new HiveContext(sc)
    val input = hiveCtx.jsonFile("./inputFile")

    //注册输入的SchemaRDD,创建临时表tweets
    input.registerTempTable("tweets")
    hiveCtx.cacheTable("tweets")
    //依据retweetCount(转发计数)选出推文
    val topTweets = hiveCtx.sql("SELECT text, retweetCount FROM tweets ORDER BY retweetCount LIMIT 10")

    //    topTweets.collect().map(println(_))
    println(topTweets.collect().mkString("\n"))
  }
}