SparkSql拼接SQL优化

最新推荐文章于 2023-02-21 14:23:00 发布

原来你也在这里。

最新推荐文章于 2023-02-21 14:23:00 发布

阅读量347

点赞数 1

分类专栏：大数据知识点 SparkSql 文章标签： SQL优化对象创建性能提升 DataFrame Spark

本文链接：https://blog.csdn.net/weixin_48149210/article/details/120033685

版权

大数据知识点同时被 2 个专栏收录

19 篇文章 0 订阅

订阅专栏

SparkSql

3 篇文章 0 订阅

订阅专栏

减少对象的创建

  val dfHive: DataFrame = spark.sql("select "+str+ " from t_emp "+joinName+" t_dept on "+joinCondition)
//优化后
    val builder = new StringBuilder("select ")
    val sql = builder.append(str).append(" from t_emp ").append(joinName).append(" t_dept on ").append(joinCondition).toString()
    val dfHive: DataFrame = spark.sql(sql)