spark中读取json_Spark解析Json数据(非Sql方式)

import play.api.libs.json._

val input = sc.parallelize(List( """{"name":"过往记忆","website":"www.iteblog.com"}""",

"""{"other":"过往记忆"}"""))

val parsed = input.map(Json.parse)

parsed.collect

output:

{"name":"过往记忆","website":"www.iteblog.com"}

{"other":"过往记忆"}

这样很就解析出Json了，但是我们只是简单将它转换成字符串了，相当于还是没解析。上面的Json数据每条Json格式不一样，如果你的Json数据格式都一样，比如每条Json最多只包含了name和website属性，那么可以这样解析： import play.api.libs.json._

val input = sc.parallelize(List( """{"name":"过往记忆","website":"www.iteblog.com"}""",

"""{"name":"过往记忆"}"""))

val parsed = input.map(Json.parse)

case class Info(