spark SQL（六）性能调整

最新推荐文章于 2024-09-03 17:10:14 发布

junzhou134

最新推荐文章于 2024-09-03 17:10:14 发布

阅读量3k

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/m0_37138008/article/details/78937382

版权

spark 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

spark SQL 性能调整

对于某些工作负载，可以通过在内存中缓存数据或打开一些实验选项来提高性能。

1，在内存中缓存数据

Spark SQL可以通过调用spark.catalog.cacheTable("tableName")或使用内存中的列格式缓存表dataFrame.cache()。然后，Spark SQL将只扫描所需的列，并自动调整压缩以最大限度地减少内存使用和GC压力。你可以调用spark.catalog.uncacheTable("tableName")从内存中删除表。
内存中缓存的配置可以使用上面的setConf方法SparkSession或SET key=value使用SQL 运行命令来完成。

属性名称	默认	含义
spark.sql.inMemoryColumnarStorage.compressed	true	设置为true时，Spark SQL将根据数据的统计信息自动为每列选择压缩编解码器。
spark.sql.inMemoryColumnarStorage.batchSize	10000	控制列式高速缓存的批量大小。较大的批量大小可以提高内存利用率和压缩率，但是在缓存数据时会面临OOM风险。

2，其他配置选项

以下选项也可用于调整查询执行的性能。在将来的版本中，这些选项可能会被弃用，因为会自动执行更多的优化。

属性名称	默认	含义
spark.sql.files.maxPartitionBytes	134217728（128 MB）	读取文件时打包到单个分区的最大字节数。
spark.sql.files.openCostInBytes	4194304（4 MB）	可以同时扫描以字节数量度量的打开文件的估计成本。将多个文件放入分区时使用。最好是高估，那么小文件的分区会比大文件的分区快（这是首先安排的）。
spark.sql.broadcastTimeout	300	广播连接中的广播等待时间以秒为单位超时
spark.sql.autoBroadcastJoinThreshold	10485760（10 MB）	配置在执行连接时将广播到所有工作节点的表的最大大小（以字节为单位）。通过将此值设置为-1，可以禁用广播。请注意，目前只有ANALYZE TABLE <tableName> COMPUTE STATISTICS noscan运行命令的Hive Metastore表才支持统计信息。
spark.sql.shuffle.partitions	200	配置混洗连接或聚合数据时要使用的分区数。

3, 分布式SQL引擎

Spark SQL也可以使用其JDBC / ODBC或命令行界面作为分布式查询引擎。在这种模式下，最终用户或应用程序可以直接与Spark SQL进行交互以运行SQL查询，而无需编写任何代码。

4, 运行Thrift JDBC / ODBC服务器

这里实现的Thrift JDBC / ODBC服务器对应HiveServer2 于Hive 1.2.1。您可以使用Spark或Hive 1.2.1附带的beeline脚本测试JDBC服务器。要启动JDBC / ODBC服务器，请在Spark目录中运行以下命令：

./sbin/start-thriftserver.sh

该脚本接受所有的 bin/spark-submit 命令行选项，还有一个 --hiveconf 选项来指定Hive属性。您可以运行 ./sbin/start-thriftserver.sh --help 所有可用选项的完整列表。默认情况下，服务器侦听localhost：10000。你可以通过两个环境变量覆盖这个行为，即：

export HIVE_SERVER2_THRIFT_PORT=<listening-port>
export HIVE_SERVER2_THRIFT_BIND_HOST=<listening-host>
./sbin/start-thriftserver.sh \
  --master <master-uri> \
  ...

或系统属性：

./sbin/start-thriftserver.sh \
  --hiveconf hive.server2.thrift.port=<listening-port> \
  --hiveconf hive.server2.thrift.bind.host=<listening-host> \
  --master <master-uri>
  ...

现在，您可以使用直线来测试Thrift JDBC / ODBC服务器：

./bin/beeline

使用以下命令直接连接到JDBC / ODBC服务器：

beeline> !connect jdbc:hive2://localhost:10000

直线会问你一个用户名和密码。在非安全模式下，只需在您的机器上输入用户名和密码即可。对于安全模式，请按照直线文档中的说明进行操作。

hive 的结构是通过将您做hive-site.xml，core-site.xml和hdfs-site.xml文件conf/。

您也可以使用Hive附带的直线脚本。

Thrift JDBC服务器还支持通过HTTP传输发送节俭的RPC消息。使用以下设置启用HTTP模式作为系统属性或在hive-site.xml文件中conf/：

hive.server2.transport.mode - Set this to value: http
hive.server2.thrift.http.port - HTTP port number to listen on; default is 10001
hive.server2.http.endpoint - HTTP endpoint; default is cliservice

要测试，使用直线连接到HTTP模式下的JDBC / ODBC服务器：

beeline> !connect jdbc:hive2://<host>:<port>/<database>?hive.server2.transport.mode=http;hive.server2.thrift.http.path=<http_endpoint>

5, 运行Spark SQL CLI

Spark SQL CLI是一种方便的工具，可以在本地模式下运行Hive Metastore服务，并从命令行执行查询输入。请注意，Spark SQL CLI无法与Thrift JDBC服务器通信。
要启动Spark SQL CLI，请在Spark目录中运行以下命令：

./bin/spark-sql

hive的结构是通过将您做 hive-site.xml ， core-site.xml 和 hdfs-site.xml 文件 conf/ 。您可以运行 ./bin/spark-sql --help 所有可用选项的完整列表。