spark-sql配置并优化

最新推荐文章于 2024-05-08 10:57:36 发布

墨卿风竹

最新推荐文章于 2024-05-08 10:57:36 发布

阅读量678

点赞数 1

文章标签： spark-sql配置并优化

本文链接：https://blog.csdn.net/qq_43688472/article/details/85315969

版权

配置好hive后，spark sql 配置就很简单了，实际上只要配置一个hive-site.xml文件，拷贝到spark/conf目录下。这个文件是给spark使用的，hive的配置文件用自己的配置文件。

一：配置文件

[hadoop@hadoop001 conf]$ vi hive-site.xml

<property>
<name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/ruoze_d5?createDatabaseIfNotExist=true</value>
</property>

<property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
</property>

<property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
</property>

<property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
</property>

二：优化重点

[hadoop@hadoop001 conf]$ vi spark-defaults.conf
spark.executor.extraClassPath /home/hadoop/lib/others/mysql-connector-java-5.1.27.jar
sdoop@hadoop001 conf]$ vi spark-defaults.conf
spark.driver.extraClassPath /home/hadoop/lib/others/mysql-connector-java-5.1.27.jar

这里有的税后需要配置2个客户端
为什么这么做，这是为以后方便，如果spark升级的话，可以节省很多事情
在这之前需要自己创建文件夹others
要把mysql-connector-java-5.1.27.jar传在这里

三：查看

[hadoop@hadoop001 spark-2.4.0-bin-2.6.0-cdh5.7.0]$ cd bin
[hadoop@hadoop001 bin]$ ./spark-sql
18/12/27 22:42:47 INFO ObjectStore: Initialized ObjectStore
18/12/27 22:42:48 INFO StateStoreCoordinatorRef: Registered StateStoreCoordinator endpoint
Spark master: local[2], Application Id: local-1545921767101
18/12/27 22:42:49 INFO SparkSQLCLIDriver: Spark master: local[2], Application Id: local-1545921767101
spark-sql (default)>