Caused by: scala.MatchError: None (of class scala.None$)

代码中使用 import scala.util.parsing.json.JSON

val inpath="hdfs://node01:8020/tmp/InternationalData_source/InternationalData.IBRD_Value.json"

val lines: RDD[Option[Any]] = jsonStr.map(one_line => JSON.parseFull(one_line))

    val pre_rdd = lines.map {
      r =>
        r match { //这块出的问题
          case Some(maps: Map[String, Any]) => {
            val my_map: HashMap[String, String] = new HashMap[String, String]()
            maps.foreach(t => {
              my_map += (t._1 -> t._2.toString.replace("\n", ""))
            })
            my_map("_id") = my_map("_id").substring(12, 36)
            (scala.util.Random.nextInt(200).toString + "_" + "IBRD_" + my_map("SourceCode"), my_map)
          }
        }
    }

原因是json串非法

1.json串与串之间不应该有逗号

2.下面的连个框中,第一个的id格式不对 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值