spark加载properties配置文件方法

最新推荐文章于 2022-06-17 09:12:07 发布

时间的快慢

最新推荐文章于 2022-06-17 09:12:07 发布

阅读量1.2w

点赞数 2

本文链接：https://blog.csdn.net/u013013024/article/details/73250550

版权

本文纠正了Spark加载properties配置文件的常见错误，并详细介绍了正确的实现步骤，帮助读者掌握有效的配置文件读取方法。

摘要由CSDN通过智能技术生成

首先我先介绍一下错误的写法，这个加载配置文件方法是错误的：

    val props = new Properties();
    val loader = getClass.getClassLoader;
    props.load(new FileInputStream(loader.getResource("config.properties").getFile()))

这个是把配置文件直接放在resource的目录下，去获得配置文件信息，这个写法在spark程序中会报找不到配置文件。

正确写法：

    val props = new Properties();

    props.load(new FileInputStream("config.properties"));
    val hdfspath = props.getProperty("hdfspath");
    val mysqlpath = props.getProperty("mysql");

你可以在这些地方加载配置文件

 kafkaStream.foreachRDD { rdd =>
            rdd.foreachPartition { partition =>

                val filePath = "config.properties"
                LogUtil.info(filePath)
                val props = new Properties()