spark version : 2.0.0
已知
val df = spark.read.json("hdfs路径")
df.createTempView("person")
如果执行
spark.sql("select * from person")
有如下表结构:
age | name |
---|---|
20 | aoge |
19 | mengmeng |
问题
但是在使用df.filter()时出现了一点小困惑
以下任意一条语句都是可以执行的
df.filter($"age">10)
df.filter($"age">=20)
df.filter($"age">=20 && $"age"<=20)
但是以下任意一条语句都是执行不了的
df.filter($"age"=20)
df.filter($"age"!=20)
df.filter($"age"==20)
df.filter($"age"<>20)
结论
可能在2.0版本下, filter()是不支持识别=的吧(?) (并不严谨