将Spark中CompactBuf转换为String

最新推荐文章于 2021-06-10 22:37:01 发布

weixin_30246221

最新推荐文章于 2021-06-10 22:37:01 发布

阅读量212

点赞数

文章标签：大数据

原文链接：http://www.cnblogs.com/mayidudu/p/5794992.html

版权

 val rdd = sc.textFile("hdfs://hbase11:9000/sparkTsData/ipsoftware/wincc").map{ line => {val regex(ip,software) = line; (ip,software)}}

 val rdd2 = sc.textFile("hdfs://hbase11:9000/sparkTsData/ipsoftware/websense").map{ line => {val regex(ip,software) = line; (ip,software)}}
 val rdd_un = rdd union rdd2
 rdd_un.count
 val grouped_rdd = rdd_un.groupByKey
 grouped_rdd.take(10)
 rdd_un.take(10)
 val grouped_rdd2 = grouped_rdd.map{ case (k,xs) => s"""($k,${xs.mkString(",")}"""}

转载于:https://www.cnblogs.com/mayidudu/p/5794992.html