如何采集级联数据(比如最新省市县)呢？

最新推荐文章于 2024-08-02 00:13:07 发布

dataman100

最新推荐文章于 2024-08-02 00:13:07 发布

阅读量582

点赞数

分类专栏：个人日志文章标签：数据采集级联数据 GoldData

本文链接：https://blog.csdn.net/qq_44773603/article/details/88571778

版权

本文介绍了如何使用GoldData采集无限级联数据，以2019年中国省市县三级数据为例，详细讲解了创建数据集、定义规则、查看及导出数据的步骤。通过这个教程，读者可以学会利用GoldData处理类似的商品分类级别的级联数据抓取。

摘要由CSDN通过智能技术生成

概述

通常抓取级联数数据情况不多，但要是真需要时，确多了一些麻烦，比如抓取商品分类级别信息等。本内容将讲述如何采集无限级联联数据，并以GoldData来抓取2019年最新的省市县三级为示例。

创建数据集

在数据集管理里，添加数据集area。如下图所示：

dataset

数据集相当于数据库中的表，只是字段是灵活的，可以随着需要而添加和变更。

创建规则

在规则管理里，添加规则arearule，并将地址http://xzqh.mca.gov.cn/map 填为抓取入口地址。

我们通过分析可知，我们可从http://xzqh.mca.gov.cn/map 获取省级数据，然后通过级级数据请求http://xzqh.mca.gov.cn/selectJson 带有省级名称来获得市级数据，最后再通过市级数据分别请求http://xzqh.mca.gov.cn/selectJson 带有市级数据来获得县级数据。

并且发现请求 http://xzqh.mca.gov.cn/selectJson 是需要发POST请求的，因此我们需要将url加个前缀fake:,然后用规则里用JavaScript去请求URL。

我们在此编写的area数据集，有以下字段：

名称	说明
sn	取区域编码作为记录唯一字段
name	名称
code	取区域编码
abbr	省名简写
parent_code	取父区域编码

因此编写规则如下：

rule

（注：具体规则内容请见文章最后）

然后编写完成后，我们就可以启动抓取器进行抓取。

查看数据

打开数据管理，选择area数据集查看如下图所示：

area

导出数据

回到数据管理，选择条件，选择需要导出的字段，进行导出。像这里数据比较多，GoldData将会以打包excel文件并压缩为zip文件下载。解压到本地，然后打开excel就可以看到抓取的数据，如下图所示：

area_export

结尾

通过这节内容，可以了解了如何通过GoldData 抓取级联数据。但是下一个问题是如何将数据导入自关联列表呢，且看下一往篇将会讲述如何将级联数据融合到数据库自关联表当中。

咐录：

（抓取规则）

[
  {
   
    __sample: http://xzqh.mca.gov.cn/map
    match0: http\:\/\/xzqh\.mca\.gov\.cn\/map
    fields0:
    {
   
      __model: true
      __node: js
      __js:
        '''
        var exp11=/json\s=\s(.+)\s+\$\(doc/
        var ret=exp11.exec(html)
        var ss=eval(ret[1])
        for(var i=0;i<ss.length;i++){
   
           var ele=ss[i]
           var exp12=/\((.+)\)/.exec(ele.shengji)
        var exp13=/(.+)\(/.exec(ele.shengji)
           out.add({
   sn:ele.quHuaDaiMa,name:exp13[1],code:ele.quHuaDaiMa,abbr:exp12[1],
         parent_code:null,

        })
        }

        '''
      name:
      {
   
        expr: ""
        attr: ""
        js: ""
        __label: ""
        __showOnList: false
        __type: ""
        down: "0"
        accessPathJs: ""
        uploadConf: ""
      }
      code:
      {
   
        expr: ""
        attr: ""
        js: ""
        __label: ""
        __showOnList: false
        __type: ""
        down: "0"
        accessPathJs: ""
        uploadConf: ""
      }
      abbr:
      {
   
        expr: ""
        attr: ""
        js: ""
        __label: ""
        __showOnList: false
        __type: ""</