databricks spark基本使用方法和讲解

databricks spark基本使用方法

spark dataframe和pandas dataframe区别

概念

Spark 的 DataFrame 和 pandas 的 DataFrame 在概念上相似，都是用来处理表格数据的，但它们在设计、实现和使用场景上有显著的差异：

Spark DataFrame
1.分布式计算
2.数据存储在集群的多个节点上
3.懒执行（lazy execution）（如调用 .show() 或 .collect() 时）才实际执行。

pandas DataFrame：
1.单机内存中的数据处理
2.操作（如添加列、过滤等）会立即在 DataFrame 上执行并返回结果。

小例子：感受下语法差异！

为了展现差异，下面同样的意思，让两者分别code，感受下语法的差异

spark dataframe
（一般在databricks上面不用建立session，环境已经帮你配置好了）

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("Example").getOrCreate()
df = spark.read.csv("data.csv")
df.na.fill(value=0)  # 填充数字型缺失值为0
df.na.drop()         # 删除任何包含缺失值的行

from pyspark.sql.functions import to_date
df.withColumn('new_da