需要实现的操作:
spark dataframe 中A列类型为StringType(), B列是ArrayType(),要判断每条记录中A列的值是否在B列中
我尝试了 .isin(...) 以及 spark.sql 中 in 的一些写法都失败了,后来发现可以使用 array_contains(..., ...)。
new_data1 = sqlContext.sql("SELECT * FROM new_data WHERE array_contains(similar_store, store_id)")