Pyspark使用

系列文章目录

提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加
例如：第一章 Python 机器学习入门之pandas的使用

---

---

一、文件挂载和文件操作

1. 挂载Azure blob里的文件(常用）

• source ：blob里的文件地址：source = 'wasbs://<container名称>@<blob的名称>.blob.core.windows.net
• extra_configs ：具体的blob的配置：extra_configs = {'fs.azure.account.key.<blob的名称>.blob.core.windows.net':'<container里的access key>'}
• mount_point：为挂载点添加名称mount_point= '/mnt/<自定义名称>'

dbutils.fs.mount(source = 'wasbs://input@dl108lg.blob.core.windows.net',
                          mount_point= '/mnt/blob108_input',
                          extra_configs = {
   'fs.azure.account.key.dl108lg.blob.core.windows.net':'fuDFNS1ziD9Lw4aeH/N6gw7+4'}
)

2. 文件操作

2.1 查看当前所有的mounts

dbutils.fs.mounts()

2.2 读取csv/parquet/delta

path = '/mnt/blob108_bronze/Sales/emp.csv
df = spark.read.format('csv').load(path,header = True)

• 读取parquet

path = '/mnt/blob108_bronze/Sales/emp.parquet
df = spark.read.format('parquet').load(path,header = True)

• 读取delta

path = '/mnt/blob108_bronze/Sales/emp.parquet
df = spark.read.format('delta').load(path,header = True)

2.3 读取时添加自定义的schema

• 自定义schema，默认使用的inferSchema

from pyspark.sql.types import StructType, StructFiled, IntegerType, StringType

schema_defined = StructType(
	StructField('Year', IntegerType(),True),
	StructField('Name', StringType(),True),
	StructField('Country', StringType(),True)
)
csv_path = '/mnt/blob108_bronze/Sales/employee.csv

df = spark.read.format("csv").schema(schema_defined ).option("header",True).option("sep",",").load(csv_path )

df.printSchema()

2.4 读取文件夹下所有的csv

all_csv_pa