如果用户希望在spark sql 中,执行某个sql 后,将其结果集保存到本地,并且指定csv 或者 json 格式,在 beeline 中,实现起来很麻烦。通常的做法是将其create table tempTable as *** ,通过将结果集写入到新的临时表中,进行保存,然后再通过其他方式export 到本地。
这种方式,对于 HDFS 是可行到,但是如果数据是保存在像SequoiaDB 中,就比较难办了。因为spark 向 SequoiaDB 写入记录时,可能部分task 会失败重试,这样就容易造成SequoiaDB 目标表中写入了重复记录,从而造成数据不准确的问题。
因此,需要寻找一种的新的方式,将其结果集准确地读取出来,并且写入本地文件。
在网上有很多替代方案,无外乎是通过beeline 或者 spark-sql ,执行 SQL 命令,通过重定向的方式,将结果集保存到指定文件中。
这样的方式,首先不讨论其输出格式的问题,最无法让人接受的是,spark-sql 需要将所有的结果数据收集到一个 Driver 进程中后,才会开始输出终端。这个过程有以下 3 个问题
- 时间久,如果数据量大了,Driver 收集的过程会很久,并且通过top 可以查看到进程CPU 飙升
- 容易OOM,当数据量增大后,因为需要将所有结果数据存储在内存中,一旦数据量用超了,就抛出 OOM 的错误,一切前功尽弃
- 输出格式,因为保存本地文件的内容就是输出终端的数据,CSV 格式不友好,有时候甚至会因为不可见字符而导致整个本地文件格式错乱,最终导致数据无法恢复
所以本文主要是向读者们介绍一种新的方式,直接使用 scala / python 语言开发的程序,利用 RDD 将其结果数据保存本地,输出格式支持 CSV 和 JSON。
- scala 版本
scala 版本作者没有直接编写程序,但是通过 spark-shell 进行了验证
import org.apache.spark.sql.hive.HiveContext // sc - existing spark context val sqlContext = new HiveContext(sc) val df = sqlContext.sql("SELECT * FROM test_sdb") df.coalesce(1).write.format("com.databricks.spark.csv").mode("overwrite").option("header", "true").save("/opt/sequoiadb/chenfool")
如果有用户喜欢这个方式,可以考虑将程序打包成jar 包来执行。
导出格式的更多参数,请参考 python 版本
- python 版本
在执行python 的脚本前,首先需要设置一下环境变量
export SPARK_HOME=/root/software/spark-2.1.1-bin-hadoop2.7 export PYTHONPATH=${SPARK_HOME}/python/:${SPARK_HOME}/python/lib/py4j-0.10.4-src.zip;
注意:py4j-0.10.4-src.zip 文件名可能随不同的spark 版本有所变化
然后准备以下脚本程序, spark_sql_export.py
import atexit import os import platform import pyspark from pyspark.context import SparkContext from pyspark.sql import SparkSession, SQLContext spark = SparkSession \ .builder \ .enableHiveSupport() \ .getOrCreate() df = spark.sql("SELECT * FROM test_sdb limit 100") #df.coalesce(1).write.format("org.apache.spark.sql.json").mode("overwrite") \ # .save("/opt/sequoiadb/chenfool") df.coalesce(1).write.format("com.databricks.spark.csv").mode("overwrite") \ .option("enforceSchema", "false") \ .option("quoteAll", "true") \ .option("escapeQuotes", "false") \ .option("header", "true") \ .option("delimiter", "|") \ .option("charToEscapeQuoteEscaping", "\"") \ .option("inferSchema", "true") \ .option("ignoreLeadingWhiteSpace", "false") \ .option("ignoreTrailingWhiteSpace", "false") \ .save("/opt/sequoiadb/chenfool")
执行方式
python spark_sql_export.py
结果数据就会被保存在 /opt/sequoiadb/chenfool/part-00000* 文件中。
结果数据只会被保存在一个文件中,因为设置了 coalesce 参数。
JSON 格式请参考 spark_sql_export.py 注释部分。
CSV 的详细参数,可以参考spark 源码:${SPARK_HOME}/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/csv/CSVOptions.scala
注意:
在spark 2.1.1 版本中,ignoreLeadingWhiteSpace 和 ignoreTrailingWhiteSpace 参数无法生效,默认值为:true。在 spark 2.4.0 版本中,经过测试,这两个参数才能够生效。如果要求保存的数据中不做 trim 操作,只能够将spark 升级为2.4.0 版本。
本博客参考了之前 spark 学习(二) 的内容,里面有介绍如果利用python 来执行spark 的程序的说明,感兴趣的读者们可以移步查阅