关于如何在spark中对Dataframe使用正则表达式进行筛选,最近在使用过程中进行了小研究。
1、遇到的问题一
准备一个DataFrame,首先的思路是使用withColumn对dataFrame中的目标列进行修改:
//dataframe 结构如下
+-----+-------+----+
|index| name|type|
+-----+-------+----+
| 1|Michael| A|
| 2| Andy| B|
| 3| Justin| C|
+-----+-------+----+
在使用regexp_extract
函数进行正则匹配前,别忘了添加import org.apache.spark.sql.functions._
隐式转换。
//正则表达式
val pattern = "ch"
//要匹配的字段
val pattColumn = "name"
import org.apache.spark.sql.functions._
val frame = dataFrame.withColumn(pattColumn,regexp_extract(dataFrame(pattColumn),pattern,0))
frame.show()
运行结果如下:
+-----+----+----+
|index|name|type|
+-----+----+----+
| 1| ch| A|
| 2| | B|
| 3| | C|
+-----+----+----+
可以看到,除了匹配到的字段内容显示了以外,没有匹配到的字段数据同样返回结果,这不符合要求。
2、去掉不符合要求的数据
对于DataFrame的筛选一般使用Filter
算子,但是其内部筛选的对象只能是Column
类型,所以需要把 要匹配的String字段,包装成Column对象。
//正则表达式
val pattern = "ch"
//要匹配的字段
val pattColumn = "name"
import org.apache.spark.sql.functions._
val frame = dataFrame.withColumn(pattColumn,regexp_extract(dataFrame(pattColumn),pattern,0)).filter(col(pattColumn)=!="")
frame.show()
运行结果:
+-----+----+----+
|index|name|type|
+-----+----+----+
| 1| ch| A|
+-----+----+----+