使用JAVA从国家统计局爬取2022年全国统计用区划代码和城乡划分代码(省市区数据)

已于 2023-07-03 14:47:00 修改
阅读量638 收藏 5
点赞数 1
文章标签： java 开发语言 maven spring
于 2023-07-03 14:35:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wmnh008/article/details/131515133
版权

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.4.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <groupId>org.example</groupId>
    <artifactId>crawler</artifactId>
    <version>1.0-SNAPSHOT</version>
    <properties>
        <spring-boot.version>2.3.11.RELEASE</spring-boot.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
        <maven-jar-plugin.version>3.1.1</maven-jar-plugin.version>
        <druid.version>1.2.6</druid.version>
        <knife4j.version>3.0.2</knife4j.version>
        <swagger-annotations.version>1.5.22</swagger-annotations.version>
        <fastjson.version>1.2.76</fastjson.version>
        <poi.version>4.1.2</poi.version>
        <velocity.version>1.7</velocity.version>
        <jwt.version>0.9.1</jwt.version>
        <mybatis-plus.version>3.4.3</mybatis-plus.version>
        <hutool.version>5.6.5</hutool.version>
        <feign.version>2.2.6.RELEASE</feign.version>
        <feign-okhttp.version>11.0</feign-okhttp.version>
        <spring-boot-admin.version>2.3.1</spring-boot-admin.version>
    </properties>

    <packaging>pom</packaging>


    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <!-- jsoup HTML parser library @ https://jsoup.org/ -->
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.13.1</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.1</version>
                <configuration>
                    <source>${java.version}</source>
                    <target>${java.version}</target>
                    <encoding>${project.build.sourceEncoding}</encoding>
                </configuration>
            </plugin>
        </plugins>
        <resources>
            <resource>
                <!--打包该目录下的 application.yml -->
                <directory>src/main/resources</directory>
                <!-- 启用过滤 即该资源中的变量将会被过滤器中的值替换 -->
                <filtering>true</filtering>
            </resource>
        </resources>
    </build>

    <repositories>
        <repository>
            <id>public</id>
            <name>aliyun nexus</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
        </repository>
    </repositories>

    <pluginRepositories>
        <pluginRepository>
            <id>public</id>
            <name>aliyun nexus</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </pluginRepository>
    </pluginRepositories>



</project>

逻辑代码

@Component
public class StatisticsBureauCrawler {
    private static final String BASE_URL = "http://www.stats.gov.cn/sj/tjbz/tjyqhdmhcxhfdm/2022"; // URL
    public static final String[] FOLDER_NAMES = {"province", "city", "county", "town"};             // 文件夹名称
    private static final String[] PAGE_SUFFIXES = {"index.html", ".html", ".html", ".html"};    // 页面后缀

    // Jsoup获取Document
    private Document getHtmlDoc(String url) throws Exception {
        return Jsoup.connect(url).timeout(30000).get();
    }

    // 解析省份列表
    private List<AddressInfo> parseProvinceList(Document doc) {
        List<AddressInfo> list = new ArrayList<>();
        Elements trElements = doc.select("tr.provincetr > td > a");
        for (Element tr : trElements) {
            AddressInfo addressInfo = new AddressInfo();
            addressInfo.setCode(tr.attr("href").replace(".html", ""));
            addressInfo.setName(tr.text());
            addressInfo.setLevel("1");
            addressInfo.setParentCode("0");
            list.add(addressInfo);
        }
        return list;
    }

    // 解析城市列表
    private List<AddressInfo> parseCityList(Document doc, String parentCode) {
        List<AddressInfo> list = new ArrayList<>();
        Elements trElements = doc.select("tr.citytr");
        for (Element tr : trElements) {
            Elements tdElements = tr.select("td > a");
            String code = tdElements.get(0).text().trim();
            String name = tdElements.get(1).text().trim();
            AddressInfo addressInfo = new AddressInfo();
            addressInfo.setCode(code);
            addressInfo.setName(name);
            addressInfo.setLevel("2");
            addressInfo.setParentCode(parentCode);
            list.add(addressInfo);
        }
        return list;
    }

    // 解析县区列表
    private List<AddressInfo> parseCountyList(Document doc, String parentCode) {
        List<AddressInfo> list = new ArrayList<>();
        Elements trElements = doc.select("tr.countytr");
        for (Element tr : trElements) {
            Elements tdElements = tr.select("td > a");
            if(tdElements.size()>0){
                String code = tdElements.get(0).text().trim();
                String name = tdElements.get(1).text().trim();
                AddressInfo addressInfo = new AddressInfo();
                addressInfo.setCode(code);
                addressInfo.setName(name);
                addressInfo.setLevel("3");
                addressInfo.setParentCode(parentCode);
                addressInfo.setLinkStatus(true);
                list.add(addressInfo);
            }else{
                Elements tdElements1 = tr.select("td");
                String code = tdElements1.get(0).text().trim();
                String name = tdElements1.get(1).text().trim();
                AddressInfo addressInfo = new AddressInfo();
                addressInfo.setCode(code);
                addressInfo.setName(name);
                addressInfo.setLevel("3");
                addressInfo.setParentCode(parentCode);
                addressInfo.setLinkStatus(false);
                list.add(addressInfo);
            }

        }
        return list;
    }

    // 解析街道列表
    private List<AddressInfo> parseTownList(Document doc, String parentCode) {
        List<AddressInfo> list = new ArrayList<>();
        Elements trElements = doc.select("tr.towntr, tr.villagetr");
        for (Element tr : trElements) {
            Elements tdElements = tr.select("td > a");
            if(tdElements.size()>0) {
                String code = tdElements.get(0).text().trim();
                String name = tdElements.get(1).text().trim();
                AddressInfo addressInfo = new AddressInfo();
                addressInfo.setCode(code);
                addressInfo.setName(name);
                addressInfo.setLevel("4");
                addressInfo.setLinkStatus(true);
                addressInfo.setParentCode(parentCode);
                list.add(addressInfo);
            }else{
                Elements tdElements1 = tr.select("td");
                String code = tdElements1.get(0).text().trim();
                String name = tdElements1.get(1).text().trim();
                AddressInfo addressInfo = new AddressInfo();
                addressInfo.setCode(code);
                addressInfo.setName(name);
                addressInfo.setLevel("4");
                addressInfo.setParentCode(parentCode);
                addressInfo.setLinkStatus(false);
                list.add(addressInfo);
            }
        }
        return list;
    }

    private List<AddressInfo> parseVillagetrList(Document doc, String parentCode) {
        List<AddressInfo> list = new ArrayList<>();
        Elements trElements = doc.select("tr.villagetr");
        for (Element tr : trElements) {
            Elements tdElements = tr.select("td > a");
            if(tdElements.size()>0) {
                Elements tdElements1 = tr.select("td");
                String code = tdElements1.get(0).text().trim();
                String name = tdElements1.get(1).text().trim();
                AddressInfo addressInfo = new AddressInfo();
                addressInfo.setCode(code);
                addressInfo.setName(name);
                addressInfo.setLevel("5");
                addressInfo.setParentCode(parentCode);
                addressInfo.setLinkStatus(false);
                list.add(addressInfo);
            }
        }
        return list;
    }


    // 解析信息列表
    List<AddressInfo> parseInfoList(String folderName, String code) throws Exception {
        List<AddressInfo> list = new ArrayList<>();

        // 获取页面源码
        String url = BASE_URL + "/" + code ;
        String pageSuffix = PAGE_SUFFIXES[Integer.parseInt(folderName)];
        Document doc = getHtmlDoc(url + pageSuffix);

        // 解析页面内容
        switch (folderName) {
            case "1":

                list.addAll(parseCityList(doc, code));
                break;
            case "2":
                list.addAll(parseCountyList(doc, code));
                break;
            case "3":
                list.addAll(parseTownList(doc, code));
                break;
            default:
                break;
        }

        // 递归解析下一级信息
        for (AddressInfo addressInfo : list) {
            if ("4".equals(addressInfo.getLevel())) {
                continue;
            }
            List<AddressInfo> subList = parseInfoList(folderName, addressInfo.getCode());
            addressInfo.setSubList(subList);
        }

        return list;
    }





    // 乡镇列表
    public List<AddressInfo> crawlVillagetrList(AddressInfo addressInfo) throws Exception {
        Document doc = getHtmlDoc(BASE_URL +"/"+addressInfo.getCode().substring(0,2)+"/"+addressInfo.getCode().substring(2,4)
                +"/"+addressInfo.getCode().substring(4,6)+"/"+addressInfo.getCode().substring(0,9)+ ".html");
        return parseVillagetrList(doc,addressInfo.getCode());
    }


    // 乡镇列表
    public List<AddressInfo> crawlTownList(AddressInfo addressInfo) throws Exception {
        Document doc = getHtmlDoc(BASE_URL +"/"+addressInfo.getCode().substring(0,2)+"/"+addressInfo.getCode().substring(2,4)+"/"+addressInfo.getCode().substring(0,6)+ ".html");
        return parseTownList(doc,addressInfo.getCode());

    }


    // 区域列表
    public List<AddressInfo> crawlCountyList(AddressInfo addressInfo) throws Exception {
        Document doc = getHtmlDoc(BASE_URL +"/"+addressInfo.getParentCode()+"/"+addressInfo.getCode().substring(0,4)+ ".html");
        return parseCountyList(doc,addressInfo.getCode());
    }


    // 爬取城市列表
    public List<AddressInfo> crawlCityList(String code) throws Exception {
        Document doc = getHtmlDoc(BASE_URL +"/"+code+ ".html");
        return parseCityList(doc,code);
    }

    // 爬取省份列表
    public List<AddressInfo> crawlProvinceList() throws Exception {
        Document doc = getHtmlDoc(BASE_URL + "/index.html");
        return parseProvinceList(doc);
    }
}
package org.example;


import java.io.Serializable;
import java.util.List;

public class AddressInfo implements Serializable {

    private String code; // 区划代码
    private String name; // 名称
    private String level; // 级别
    private String parentCode; // 上级区划代码
    private boolean linkStatus;

    private List<AddressInfo> subList;

    public String getCode() {
        return code;
    }

    public void setCode(String code) {
        this.code = code;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getLevel() {
        return level;
    }

    public void setLevel(String level) {
        this.level = level;
    }

    public String getParentCode() {
        return parentCode;
    }

    public void setParentCode(String parentCode) {
        this.parentCode = parentCode;
    }

    public List<AddressInfo> getSubList() {
        return subList;
    }

    public void setSubList(List<AddressInfo> subList) {
        this.subList = subList;
    }

    public boolean isLinkStatus() {
        return linkStatus;
    }

    public void setLinkStatus(boolean linkStatus) {
        this.linkStatus = linkStatus;
    }
}
package org.example;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

import javax.annotation.PostConstruct;
import java.io.File;
import java.io.FileWriter;
import java.util.List;

@SpringBootApplication
public class Application {
    @Autowired
    private StatisticsBureauCrawler crawler;

    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }

    @PostConstruct
    public void run() throws Exception {
        // 爬取省份列表
        List<AddressInfo> provinceList = crawler.crawlProvinceList();
        File file = new File("address.txt");
        FileWriter writer = new FileWriter(file);
            // 遍历省份列表
            for (AddressInfo province : provinceList) {
                System.out.println(province.getCode() + "," + province.getName() + "," + province.getLevel() + "," + province.getParentCode());
                writer.write(province.getCode() + "," + province.getName() + "," + province.getLevel() + "," + province.getParentCode()+ "\n");
                List<AddressInfo> cityList = crawler.crawlCityList(province.getCode());
                for (AddressInfo city : cityList) {
                    System.out.println(city.getCode() + "," + city.getName() + "," + city.getLevel() + "," + city.getParentCode());
                    writer.write(city.getCode() + "," + city.getName() + "," + city.getLevel() + "," + city.getParentCode()+ "\n");

                    List<AddressInfo> countyList = crawler.crawlCountyList(city);
                    for (AddressInfo country : countyList) {
                        System.out.println(country.getCode() + "," + country.getName() + "," + country.getLevel() + "," + country.getParentCode());
                        writer.write(country.getCode() + "," + country.getName() + "," + country.getLevel() + "," + country.getParentCode()+ "\n");

                        if (country.isLinkStatus()) {
                            List<AddressInfo> crawlTownList = crawler.crawlTownList(country);
                            for (AddressInfo town : crawlTownList) {
                                writer.write(town.getCode() + "," + town.getName() + "," + town.getLevel() + "," + town.getParentCode()+ "\n");
                                if (town.isLinkStatus()) {
                                    List<AddressInfo> villagetrList = crawler.crawlVillagetrList(town);
                                    for (AddressInfo villagetr : villagetrList) {
                                        writer.write(villagetr.getCode() + "," + villagetr.getName() + "," + villagetr.getLevel() + "," + villagetr.getParentCode()+ "\n");
                                    }
                                }
                            }
                        }
                    }
                }
            }
            writer.close();
    }
}

代码详情请参考 gitee:https://gitee.com/wanderers-in-hubei/crawler.git

狼莲
关注
java爬取国家统计局省市县及编码
qq_42680327的博客
02-03 1552
使用java爬取国家统计局网站省市县及编码，以及数据库的设计，需要的朋友可以看看： 效果如图： 数据库的设计： 主代码如下： /** * 读省的信息 * @param args * @throws Exception */ public static void main(String[] args) throws E...
java db 省市区编码表
08-14
修改资源中某位兄弟的，为了做一个java 的桌面程序，运行好使。
java爬取国家统计局之统计用区划和城乡划分代码（省市区三级）
lock_xuanqing的博客
09-15 2148
java爬取国家统计局之统计用区划和城乡划分代码 用户项目中地址的联动选择
爬虫模式-JAVA获取省市区编码
SoulNone的博客
08-13 1680
爬虫模式-JAVA方式获取省市区 区域编码
java爬取行政区划代码
qq_37888609的博客
02-23 611
爬取行政区划代码
DAY01.使用JAVA从国家统计局爬取2020年全国统计用区划代码和城乡划分代码(省市区数据)
weixin_43638187的博客
11-27 4227
爬取国家统计局城乡数据1 准备工作 1.1 使用的jar包: 1.2 思路 1.3 准备数据库表 1.4 准备model类 1.5 mybatis批插入2 初始化工作 2.1 初始化配置信息 2.2 初始化Http 2.3 发送http请求，获取数据 2.4 BaseRegionDetailModel配置文件   项目需求,，国家省市区名称代码，网上找了一圈2020年的都不是免费的，后来就自己做了个爬虫，因为自己本身做的时JAVA 开发，平常也没学过python，所以只能使用Java做一个爬虫，爬国家统计局
DAY02.使用JAVA从国家统计局爬取2020年全国统计用区划代码和城乡划分代码(省市区数据)
weixin_43638187的博客
11-27 3762
爬取国家统计局城乡数据1 获取数据 1.1  爬取省数据 1.2 爬取市数据 1.3 爬取区、县数据 1.4 爬取街道办、乡、镇数据 1.5 爬取社区、村数据 1.6  注意:   项目需求,，国家省市区名称代码，网上找了一圈2020年的都不是免费的，后来就自己做了个爬虫，因为自己本身做的时JAVA 开发，平常也没学过python，所以只能使用Java做一个爬虫，爬国家统计局的2020年城乡统计，爬到了村居委会一级共67w条数据 1 获取数据  1.1  爬取省数据     首先就是获取每一个省，然后根据每
2020年全国统计用区划代码和城乡划分代码表结构及数据备份.sql
01-26
此资源为”2020年全国统计用区划代码和城乡划分代码”的字典表和数据备份，表结构和数据已实现 数据父子关系（树结构数据）。数据取自“国家统计局”官网。
2022年度全国统计用区划代码和城乡划分代码数据库
05-30
2022年度全国统计用区划代码和城乡划分代码数据库，为2022年全国统计用区划代码（12位）和城乡分类代码（3位），地域范围为国家统计局开展统计调查的全国31个省（自治区、直辖市），未包括我国台湾省、香港特别行政...
全国统计用区划代码和城乡划分代码(2022版)
04-03
此次发布内容为2022年全国统计用区划代码（12位）和城乡分类代码（3位），地域范围为国家统计局开展统计调查的全国31个省（自治区、直辖市），未包括我国台湾省、香港特别行政区和澳门特别行政区。
java获取省市县数据
08-03
NULL 博文链接：https://jie-bosshr.iteye.com/blog/1995816
全国行政区域代码表（SQL）
09-14
这是一个全国行政区域代码表，SQL版的，通过这个sql可以很方便获取行政代码信息。
Java获取全国所有省市列表.rar
01-03
Java获取全国所有省市列表.rar LocalUtil lu = LocalUtil.getInstence(); String[] arr = lu.getCitys("中国","广东");
c#爬取国家行政区划代码至村级代码
01-07
c#爬虫，爬取国家统计局发布的全国行政区划代码至村级，html解析引擎基于JumonyCore.3.0.5.2
最新全国行政区划MySQL数据库版本省市区联动效果
03-08
最新全国行政区划MySQL数据库版本省市区联动效果，里面包含了json文件，以及简单Vue 演示效果
java 行政区划获取代码 省/市/县/乡镇/街道/村委会 层级 DivisionAdvUtil 爬虫获取完整的行政区划 代码完整 可运行
shengguimin的博客
04-23 1429
③.选择对应的年份,获取路径,这里用2022年的数据,地址为:http://www.stats.gov.cn/sj/tjbz/tjyqhdmhcxhfdm/2022/index.html。* 数据源查看: ①.http://www.stats.gov.cn/sj/tjbz
国家统计局统计用区划和城乡划分代码
q12643779的博客
08-27 2697
http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2020/index.html
使用java爬取国家统计局的12位行政区划代码
热门推荐
小熊的博客
11-21 1万+
前言： 本文基于j2ee的原始url进行都写，解析指定内容时也是使用很傻的形式去查找指定格式的字符串来实现的。 更优雅的方式是可以使用apache的HttpClient和某些文档模型将HTML字符串构建成doc来进行解析。   爬取的原因：统计局网站提供的页面并按照：省-市-县-镇-村   这样的层次关系来组织页面，人工去获取所有的代码工作量大而繁琐，遂有了下面很粗糙的代码
想知道大厂面试都问些啥？看这一篇就够了
最新发布
2401_84004024的博客
05-03 296
文章中涉及到的知识点我都已经整理成了资料，录制了视频供大家下载学习，诚意满满，希望可以帮助在这个行业发展的朋友，在论坛博客等地方少花些时间找资料，把有限的时间，真正花在学习上，所以我把这些资料，分享出来。相信对于已经工作和遇到技术瓶颈的朋友们，在这份资料中一定都有你需要的内容。本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录。
2019年全国统计用区划代码和城乡划分代码.csv
01-21
2019年全国统计用区划代码和城乡划分代码.csv是一份关于全国统计用区划和城乡划分的代码文件。这份文件包含了2019年全国范围内的统计用区划代码和城乡划分代码，用于对全国各地进行统计、分析和管理。 全国统计用...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值