Spark上传zip文件
步骤一、启动spark的时候addfile zip文件
#zip文件原始路径
file_path = "./filename.zip"
#启动spark
spark = SparkSession.builder.appName("space_name").enableHiveSupport().getOrCreate()
sc = spark.sparkContext
# 添加文件到spark的空间,位于根目录下
sc.addFile(file_path)
步骤二、在udf函数中解压缩:
从根目录读取压缩文件并解压
之后即可以使用解压后的文件
import os
import zipfile
def func(businesstype,route_id_i,locale,languagetype,sentence):
root = './'
zip_file_path = os.path.join(root, 'file_name.zip')
with zipfile.ZipFile(zip_file_path) as zf:
zf.extractall(root)
#解压后的路径为根目录下和原始zip文件同名的文件夹
file_path = './file_name'
# 可以用路径下的文件进行一些处理工作
xyz = func2(file_path)
return xyz
func_udf = udf(func, StringType())
df_out = df.withColumn("new_col", func_udf(df["col1"]))
python解压缩文件
import os
import zipfile
root = rootdir
file_name = 'file.zip'
zip_file_path = os.path.join(root, file_name)
with zipfile.ZipFile(zip_file_path) as zf:
zf.extractall(root)
参考文献:
https://developer.aliyun.com/ask/131174