spark将rdd转为string_scala - DataFrame到RDD [(String，String)]的转换

我想在数据块中将org.apache.spark.sql.DataFrame转换为org.apache.spark.rdd.RDD[(String, String)]。有人能帮忙吗？

背景(也欢迎更好的解决方案)：我有一个kafka流(经过一些步骤后)成为一个2列数据帧。我想把它放到redis缓存中，第一列作为键，第二列作为值。

更具体地说，输入的类型是：lastContacts: org.apache.spark.sql.DataFrame = [serialNumber: string, lastModified: bigint]。我试着把它放在redis中，如下所示：sc.toRedisKV(lastContacts)(redisConfig)

错误消息如下：

notebook:20: error: type mismatch;

found : org.apache.spark.sql.DataFrame

(which expands to) org.apache.spark.sql.Dataset[org.apache.spark.sql.Row]

required: org.apache.spark.rdd.RDD[(String, String)]

sc.toRedisKV(lastContacts)(redisConfig)

我已经有了一些想法(比如function.rdd)，但没有任何帮助。

最佳答案

如果要将行映射到其他RDD元素，可以使用df.map(row=>…)将数据帧转换为RDD。

例如：val df = Seq(("table1",432),

("table2",567),

("table3",987),

("table1",789)).

toDF("tablename", "Code").toDF()

df.show()

+---------+----+

|tablename|Code|

+---------+----+

| table1| 432|

| table2| 567|

| table3| 987|

| table1| 789|

+---------+----+

val rddDf = df.map(r => (r(0), r(1))).rdd // Type:RDD[(Any,Any)]

OR

val rdd = df.map(r => (r(0).toString, r(1).toString)).rdd //Type: RDD[(String,String)]

请参考https://community.hortonworks.com/questions/106500/error-in-spark-streaming-kafka-integration-structu.html关于analysisexception:必须使用writestream.start()执行具有流式源的查询

您需要使用query.awaitTermination()等待查询的终止

以防止查询处于活动状态时进程退出。