spark中用println输出一些控制信息

最新推荐文章于 2023-04-08 21:08:40 发布

微电子学与固体电子学-俞驰

最新推荐文章于 2023-04-08 21:08:40 发布

阅读量3.5k

点赞数

分类专栏： Scala与Spark

本文链接：https://blog.csdn.net/appleyuchi/article/details/85804414

版权

Scala与Spark 专栏收录该内容

119 篇文章 5 订阅

订阅专栏

部分代码如下:

 def main(args: Array[String]): Unit = {
    Logger.getLogger("org").setLevel(Level.OFF)
    Logger.getLogger("akka").setLevel(Level.OFF)
    Logger.getRootLogger().setLevel(Level.ERROR) //这里是用来抑制一大堆log信息的.   

    val spark = SparkSession.builder
    .appName("Intro").config("spark.master", "local")
    .getOrCreate();
    spark.sparkContext.setLogLevel("ERROR")
    
    val hadoopConf = spark.sparkContext.hadoopConfiguration
    hadoopConf.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName)
    hadoopConf.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)


    import spark.implicits._


    val rdd= spark.sparkContext.parallelize(List("------------先大致看下数据-----------------"))
    rdd.collect().foreach(println)

就是上面代码的最后两句,这两句就可以像一般print语句一样来使用了.

注意,直接println是会被spark忽略的,并不会输出到控制台上面