Spark错误异常-stdout日志乱码

最新推荐文章于 2021-11-30 17:40:57 发布

xubc

最新推荐文章于 2021-11-30 17:40:57 发布

阅读量1.9k

点赞数

分类专栏： spark 文章标签： spark 乱码 stdout

本文链接：https://blog.csdn.net/u011098327/article/details/53940762

版权

采用Apache版本Spark1.2.1时没有出现乱码，但Spark-1.1.0-cdh5.2.1版本中，在分布处理的map函数里对中文数据进行debug打印输出进行时出现问号乱码

val rs = rdd.filter(e => {val (lable,text) = (e._2(2), e._2(3));  m.filterItem(lable, text) })
           .reduceByKey((x,y) => m.merge(x, y))
           .map{case (x,y) => {println(x + "\t" + y);  (x._1.toLong, x._2, y(1), y(3) )}}

// 打印输出内容
china.cn/, A0, ,???:???,,??:?????????????138?,??:7975209__??:15028078833__??:15176090928,,,,,,,,????:???????????????????????(11)???,,,,, false, 4, 7)
?????????????   17      ,???:???,,??:?????????????138?