![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pyspark常用语法
文渊壹哥
这个作者很懒,什么都没留下…
展开
-
pyspark常用语法_零碎
想了解更多,欢迎移步"文渊小站"里面有更多知识分享,以及一些有意思的小项目~环境spark 2.4.0df查看信息(常用)df.schema # df表结构df.columns # df各字段df.dtypes # df各字段数据类型df.first() # df的第一行数据df.head() # df的第一行数据 # df.head(5) # df的前五行数据df.show() # 展示 df 的部分行数据 # df.show(原创 2021-12-29 16:57:13 · 1351 阅读 · 0 评论 -
pyspark常用语法_UDF
想了解更多,欢迎移步"文渊小站"里面有更多知识分享,以及一些有意思的小项目~环境spark 2.4.0udf库自带函数import pyspark.sql.functions as F## F.when(if条件,if结果).otherwise(else结果)df = df.withColumn('a', F.when(F.col('a').isin([1,2,3]) | F.isnan(F.col('a')) | F.col('a').isNull(), F.col('a')).othe原创 2021-12-29 16:56:14 · 1667 阅读 · 0 评论 -
pyspark常用语法_df行列拼接
想了解更多,欢迎移步"文渊小站"里面有更多知识分享,以及一些有意思的小项目~环境spark 2.4.0df列拼接(join操作)from pyspark import SparkConf, SparkContextfrom pyspark.sql import SparkSession, SQLContext原创 2021-12-29 16:55:13 · 1730 阅读 · 0 评论 -
pyspark常用语法_读取各类数据源
想了解更多,欢迎移步"文渊小站"里面有更多知识分享,以及一些有意思的小项目~环境spark 2.4.01 读写 csv文件# 读csvfile_path = r"xx/xx/xx/" # 可以是文件路径,也可以是文件名# df = spark.read.csv(file_path, header=True, inferSchema=True)df = spark.read.format('csv').option("header", "true").option("inferSchema原创 2021-12-29 16:53:10 · 1238 阅读 · 0 评论 -
pyspark常用语法_相关创建
想了解更多,欢迎移步"文渊小站"里面有更多知识分享,以及一些有意思的小项目~环境spark 2.4.0创建spark,sc等from pyspark import SparkConf, SparkContextfrom pyspark.sql import SparkSession, SQLContext原创 2021-12-29 16:50:53 · 622 阅读 · 0 评论