使用Kettle从国家统计局下载行政区划代码数据

一、问题背景

      许多信息统计,均需基于全国最新行政区划数据。按照中华人民共和国行政区划代码标准(GB/T 2260),各行政区划至少有编码和名称两个子项。编码由6位数字组成,通过一定规则代表省、市、县三级。最新数据可以通过国家统计局官方网站(网址:http://www.stats.gov.cn/tjsj/tjbz/xzqhdm/)下载得到。

      本文讨论的案例,就是利用Kettle(版本号:7.0)从官网上下载数据,并转为结构化数据存储。

二、输入输出

      输入数据来自互联网,数据为截止2016年7月31日的最新县及县以上行政区划代码。网址:http://www.stats.gov.cn/tjsj/tjbz/xzqhdm/201703/t20170310_1471429.html。下面是网站截图(图1):


      输出数据为文本文件,包含一个文件头行,以及包含编码、名称两个字段的3508行数据。下图为输出文件截图(图2):

三、主要步骤

       以下将逐一解释用到的主要转换步骤。解决方案包括如下5个步骤:首先通过互联网下载网页中的原始数据,然后解析其中有用的数据块,并对数据块进行简单清洗,然后将数据块转为行集,最终逐行提取需要的字段数据。

1、下载网页数据

      通过核心对象/查询类别中的“HTTP client”步骤,可以下载到网页原始数据。注意该步骤必须有输入流方可执行,所以一般在前面增加一个步骤,用于提供URL地址的输入行集。本例只需设置字符编码和结果字段名即可,主要配置见下图(图3),选择了UTF-8编码,结果字段名webResult。



2、解析数据部分

      通过上一步骤,网页的数据将保存到名为webResult的字段中。在调试阶段可以将数据拷贝到记事本中,分析找到数据区域的规律。为了简化起见,将无关数据用省略号代替,主要数据如下图(图4)所示。



      如上图两个红色框图部分所示,本例需要的数据区域有如下规律。

  • 开头部分为:

      <span lang="EN-US">110000<span>

  • 结尾部分为:

      澳门特别行政区</span></b></p></div></div></div>

      可以利用核心对象/脚本类别中的“正则表达式”步骤来解析其中的数据块部分,该步骤配置的核心内容就是正则表达式,务必要确保正则表达式与内容全部匹配,并且捕获分组到指定字段。结合上述分析,我们可以将正则表达式设置为:

      [\s\S]*(<p><b><span>110000[\s\S]*澳门特别行政区</span></b></p></div></div></div>)[\s\S]*

      具体配置如下图(图5)所示:



       通过本步骤,可以将输入步骤中的webResult字段中的数据块内容,截取到body1字段中。



3、原始数据处理

       通过上述步骤,得到body1字段中的数据块具备一些特殊特征。从图1可以看出,统计局网站对省一级数据进行了加粗显示,HTML中包含许多省级数据的特殊<b></b>标记。为了避免针对省级行政区划代码的特殊处理,需要清洗掉这些特殊标记。可以选择核心对象/转换类别中的“字符串替换”步骤,讲此类特殊标记清除。主要配置如下图(图6):



      通过字符串替换步骤,可以将清洗后的数据保存到body2字段中。

4、数据块转记录

      通过上述步骤,可以得到一个相对比较纯净的数据块。如下图(图7)所示:



       为简洁起见,大部分数据用省略号代替。关键问题在于,如何将一块数据变成一行一行的信息。可以利用核心对象/转换类别中的“列拆分为多行步骤,将块数据变成行集,而该步骤的关键又在于寻找拆分列的规律。如图7中红色部分所标识,本例中拆分的特征是</p>字符串,通过它可以将块拆分出行。具体设置如下图:



      通过拆分行步骤,所有数据将拆分到data1字段中。通过Kettle的预览视图,可以看到下图所示结果:



       可以看出,数据已经成功拆分为每个行政区一行记录。

5、有用信息萃取

       最后一个关键问题在于如何从data1字段中将地区代码和地区名称得到。同样,利用核心对象/脚本类别中的“正则表达式”步骤可以轻松将需要数据解析,关键还是在于正则表达式。通过对数据规律的分析,配置表达式如下:

       .*?<span lang="EN-US">([\S]*?)<span>[\s\S]*?<span style="font-family: 宋体">([\S]*?)</span>.*

       这样,地区代码和地区名称分别成为两个分组。详细配置如下图:

       由于文本文件导出等其他步骤都相对简单,本文不再赘述。

四、总结

本文通过互联网数据的下载、清洗、解析,完成了一个典型的文本数据块到行集的信息获取,其他类似需求均可参考。

如需原始转换文件,请联系微信号carol_sxh获取,添加好友时请注明所需文件名(KettleSample001.ktr)。


【注意】本文转自博主公众号“Kettle博士”,本公众号所发文章皆为原创,如转载请注明出处及作者。


微信扫一扫,关注该公众号


©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值