spark中获取配置文件两种方式Properties和ConfigFactory

1.方式一：

利用类加载器获取到指定的配置文件

// 通过类的加载器获取到对应的配置文件
val stream = getClass.getClassLoader.getResourceAsStream("application.conf")
val prop = new Properties()
prop.load(stream)
val sqlUrl = prop.getProperty("db.url")
println(sqlUrl)

2方式二：利用Typesafe的Config库。

ConfigFactory.load() 默认加载classpath下的配置文件：

加载顺序为：application.conf --->  application.sjon  ---->  application.properties

2.1导入jar包

<dependency>
    <groupId>com.typesafe</groupId>
    <artifactId>config</artifactId>
    <version>1.3.0</version>
</dependency>
 
 
<!-- akka的actor依赖 -->
<dependency>
    <groupId>com.typesafe.akka</groupId>
    <artifactId>akka-actor_2.11</artifactId>
    <version>2.4.17</version>
</dependency>

2.2代码

// 方式二：通过ConfigFactory来获取到配置文件
// 默认加载配置文件的顺序是：application.conf --> application.json --> application.properties
val config = ConfigFactory.load()
val user = config.getString("db.user")
println(user)

3.综合案例

// 通过读取配置文件中的mysql配置，把数据写入到mysql中：
val session = SparkSession.builder().getOrCreate()
import session.implicits._
 
val data: Dataset[String] = session.createDataset(List("zs 18 90"))
 
// 指定schema信息
val df = data.map(_.split(" ")).map(t => (t(0), t(1).toInt, t(2).toInt))
  .toDF("name", "age", "fv")
 
// 获取mysql的配置参数
val url = config.getString("db.url")
val table = config.getString("db.table")
val conn = new Properties()
conn.setProperty("user", config.getString("db.user"))
conn.setProperty("password", config.getString("db.password"))
conn.setProperty("driver", config.getString("db.driver"))
// 写入数据到指定的数据库
df.write.mode(SaveMode.Append).jdbc(url, table, conn)

4.1提交到spark集群

提交任务的基本套路：

spark-submit –master 集群模式  --jars 依赖jar包  --class 主类  maven工程jar包

spark-submit --master spark://hdp-01:7077 --jars config-1.3.0.jar,mysql-connector-java-5.1.38.jar --class cn.huge.spark.ConfigFactoryDemo  sparksql-huge-1.0-SNAPSHOT.jar