问题背景
现在有一个json串"{‘address’:[[‘33’,‘3301’,‘330108’],‘xx路xx号’]}", 需要把address解析出来之后, 将行政区划编码替换为对应的省市区县, 最后输出这样的格式(“浙江省杭州市滨江区xx路xx号”).
开发给到的行政区划表(area)的结构如下图:
因为行政区划表在解析json的时候, 很多地方都会用到, 并且行政区划表本身记录数比较少, 占用的内存空间较小, 就考虑将行政区划编码和对应的省市区县放到一个HashMap中, 查询效率也会比较高.
有的同学可能会问, 为什么不用join? 如果用join关联, 在查省、市、区县时,要么是先过滤出三个Dataframe,分别代表省、市、区县,然后再分别join,要么就是不区分,关联整个行政区划表3次。这样一来,不仅比较麻烦,效率也不高。
具体实现
代码实现:
import scala.collection.mutable
val hashMap = spark.read.table("ods.area") //行政区划表
.select("area_code", "area_name") //只查询需要的字段(行政区划编码、省市区县名称)
.rdd //Dataframe转化为RDD
//RDD中每一行转化成area_code和area_name映射的key-value
.map(row => row.getAs("area_code").toString -> row.getAs("area_name").toString)
.collectAsMap() //将key-value对类型的RDD转化成Map
.asInstanceOf[mutable.HashMap[String, String]]