Spark2.x中DataFrame的某列保存的数据,是包含一个结构的数组时,如何取出数据?
Spark2.x中,当某列保存的数据是一个结构数组时,没有一种漂亮的取出方式,只能通过rdd去取。
以下是用Spark构建协同过滤实现推荐引擎的一个例子(https://spark.apache.org/docs/2.4.5/ml-collaborative-filtering.html),例子中的数据只能通过如下方式取出。
object RecommendationProducts {
def main(args: Array[String]) {
val spark = SparkS
原创
2020-05-12 15:35:12 ·
1291 阅读 ·
0 评论