pyspark
sunflower_sara
NLP, 计算机视觉,机器学习,深度学习,以及相关的其他内容
展开
-
【Pyspark】Spark导入zip文件/上传zip文件
Spark上传zip文件步骤一、启动spark的时候addfile zip文件#zip文件原始路径file_path = "./filename.zip"#启动sparkspark = SparkSession.builder.appName("space_name").enableHiveSupport().getOrCreate()sc = spark.sparkContext# 添加文件到spark的空间,位于根目录下sc.addFile(file_path)...原创 2020-07-17 11:00:48 · 2413 阅读 · 0 评论 -
【Pyspark】UDF函数的使用、UDF传入多个参数、UDF传出多个参数、传入特殊数据类型
udf函数:from pyspark.sql.functions import udffrom pyspark.sql.types import StringTypeimport numpy as np import math@udf(returnType=StringType())def caculateClusterBelongTo(inlist): try: ...原创 2020-01-19 19:34:53 · 19424 阅读 · 2 评论