【博学谷学习记录】超强总结，用心分享| SparkSQL的DataFrame详解

原创

已于 2023-06-08 11:07:32 修改 · 553 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#学习 #大数据

于 2023-03-12 20:18:03 首次发布

本文详细介绍了DataFrame的基础知识，包括其作为二维表的结构和元数据信息。内容涵盖DataFrame的构建方法，如从RDD转换、Pandas DataFrame转换、内部数据初始化以及通过读取外部文件创建DataFrame。通过学习，读者将深入理解Spark SQL中DataFrame的使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 DataFrame基本介绍

一个dataFrame表示是一个二维的表, 一个二维表, 必然存在行列表结构描述信息

表结构描述信息(元数据): StructType

字段: StructField

定义: 字段的名称, 字段的类型, 字段是否可以为Null

认为: 在一个StructType对象下, 由多个StructField组成的, 构建了一个完整的元数据信息

行: Row对象

列: Column对象

注意: dataFrame本质上就是一个RDD, 只是对RDD进行包装, 在其基础上添加schema元数据信息,从而处理结构化数据

2 DataFrame的构建方式

2.1通过RDD得到一个dataFrame

from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession
from pyspark.sql.types import *
import os

# 锁定远端环境, 确保环境统一
os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ['PYSPARK_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ