DF中filter和where的区别

在Spark DataFrame中，filter和where这两个函数都可以用来筛选DataFrame中的数据，它们之间的区别如下：

1. 语法不同：

• filter：df.filter(condition)，condition为一个Boolean类型的表达式，该表达式可以包含多个条件，用AND或OR连接。
• where：df.where(condition)，condition同样为一个Boolean类型的表达式。

1. 调用方式不同：

• filter：调用DataFrame实例的filter方法进行筛选。
• where：可以通过DataFrame实例或者SQL的方式进行调用，如df.where("column = value")或者spark.sql("SELECT * FROM table WHERE column = value")。

1. 对null的处理方式不同：

• filter：当使用filter函数筛选DataFrame时，null值的处理方式和其他值是一样的。
• where：当使用where函数筛选DataFrame时，null值的处理方式和其他值是不一样的。在condition中，当列值为null时，where函数会自动将其视为false，不会进行筛选。

1. 筛选表达式的复用性不同：

• filter：filter函数可以让筛选条件的表达式重用，可以将表达式定义为一个变量，然后在多个地方使用该变量，使得代码更加简洁易懂。
• where：where函数不支持表达式的重用。

总的来说，filter和where都是用来筛选DataFrame中数据的函数，它们的基本功能相同，但在具体实现方式和一些细节上有所不同。