2021全国省市区街道社区五级SQL文件以及JAVA爬取代码

最新推荐文章于 2023-07-19 17:21:32 发布
最新推荐文章于 2023-07-19 17:21:32 发布
阅读量5.1k 收藏 24
点赞数 6
分类专栏： 学习日志 爬虫技术 文章标签： 省市区街道社区 sql jsoup
转载请注明出处 https://www.hjljy.cn
本文链接：https://blog.csdn.net/ycf921244819/article/details/116596294
版权

文章目录

2021全国省市区街道社区五级SQL文件以及爬取代码

最近项目当中要用到全国区域信息，需要包含到社区，在网上找了很久，大部分是没有到社区的，或者有的是2019年的数据。
考虑到数据的准确性，所以自己写了个爬取代码进行爬取。

数据来源

数据来源：国家统计局

爬取时间：2021/05/09。国家统计局最新的数据是2020/06月更新的。

数据说明

第一点：区域信息
是指的统计局划分的统计区域，基本是按照行政区域来进行划分了，所以会存在某些区域信息不存在的情况，（整体区域信息是完整的）
例如： 成都高新区，天府新区等等，大致的说法是高新区，天府新区是属于功能区不是行政区，高新区下面的街道/社区，从行政上来说还是属于武侯区，双流区等。部分APP上面是把高新区独立出来的，例如京东，在京东上可以发现成都桂溪街道属于高新区，但是在美团APP或者淘宝上，桂溪街道属于武侯区。

第二点：特殊地级市，省直辖县

特殊地级市：
1.绝大多数地级市的的党政机关主要领导干部的行政级别为厅局级正职，但有些地级市的行政架构为副省级建制，其党政机关主要领导干部行政级别为省部级副职，被称为“副省级城市”，共15个，分别为广州市、武汉市、哈尔滨市、沈阳市、成都市、南京市、西安市、长春市、济南市、杭州市、大连市、青岛市、深圳市、厦门市、宁波市。 [5]
2.绝大多数地级市设多个市辖区，并辖县级市、县、自治县等县级行政区，但有些地级市只设市辖区，不辖县级市、县、自治县等县级行政区，它们属于“全区市”，共13个，分别为乌海市、鄂州市、克拉玛依市、深圳市、厦门市、武汉市、珠海市、佛山市、南京市、广州市、海口市、三亚市、三沙市。而有些地级市虽辖县级市、县、自治县等县级行政区，但只设一个市辖区，它们属于“单区市”，共60个。还有些地级市既不设市辖区，也不辖县级市、县、自治县等县级行政区，直接管辖街道、镇、乡等乡级行政区，属于“不设区的市”，俗称“直筒子市”，共4个，分别为东莞市、中山市、嘉峪关市、儋州市。 [5]
省直辖县：
通常情况下县由归地级市管理，不过也存在很多县是省直接管理的。

SQL文档

文档地址：https://gitee.com/hjljy/crawler/tree/master/crawler/sql

代码说明

爬虫工具：jsoup

        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.11.3</version>
        </dependency>

获取网页数据

第一种方式：

                //避免生僻字乱码
                Connection connect = HttpConnection.connect(sourceHtml);
                connect.header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36 Edg/90.0.818.51");
                connect.cookie("_trs_uv", "ko2mem1r_6_2wb2");
                connect.cookie("SF_cookie_1", "37059734");
                connect.followRedirects(false);
                BufferedInputStream inputStream = connect.execute().bodyStream();
                //获取到网页数据，采用GBK编码的方式，避免乱码存在
                Document document = Jsoup.parse(inputStream, "GBK", sourceHtml);

第二种方式：网页采用什么编码，这里就用什么编码，容易存在乱码

				Document document = Jsoup.connect(sourceHtml)
                        .header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36 Edg/90.0.818.51")
                        .cookie("_trs_uv", "ko2mem1r_6_2wb2")
                        .followRedirects(false)
                        .get();

如何查看网页的编码格式

获取省份信息

    public void getProvinceInfo(String sourceHtml, boolean next) throws IOException {
        Document document = this.getDocument2(null, sourceHtml, 5);
        int sort = 1;
        //省份信息
        Elements provincetr = document.getElementsByClass("provincetr");
        for (Element element : provincetr) {
            Elements aElements = element.getElementsByTag("a");
            for (Element aElement : aElements) {
                //省份名称
                String provinceName = aElement.text();
                String href = aElement.attr("href");
                //省份行政区划代码 2位
                String provinceCode = href.split("\\.")[0];
                //省份行政区划代码 12位
                String provinceRCode = provinceCode + "0000000000";
                if (next) {
                    String absUrl = aElement.absUrl("href");
                    //获取城市信息
                    getCityInfo(provinceCode, provinceRCode, absUrl, next);
                }
                System.out.println(provinceName);
                sort++;
            }
        }
    }

获取城市信息

    /**
     * 获取省份下面的城市数据
     *
     * @param provinceCode  省份行政区划代码 2位
     * @param provinceRCode 省份行政区划代码 12位
     * @param sourceHtml    爬取网页
     * @param next          是否获取下级
     * @throws IOException
     */
    public void getCityInfo(String provinceCode, String provinceRCode, String sourceHtml, boolean next) throws IOException {
        Document document = this.getDocument2(null, sourceHtml, 5);
        int sort = 1;
        //城市信息
        if (null == document) {
            document = this.getDocument3(null, sourceHtml, 5);
        }
        Elements citytr = document.getElementsByClass("citytr");
        if (citytr.size() == 0) {
            document = this.getDocument3(null, sourceHtml, 5);
        }
        citytr = document.getElementsByClass("citytr");
        if (citytr.size() == 0) {
            log.error(sourceHtml + "未获取到城市信息");
        }
        for (Element element : citytr) {
            Elements tds = element.getElementsByTag("td");
            Element aElement = tds.get(0);
            Element aElement2 = tds.get(1);
            //城市12位区划代码
            String cityRCode = aElement.text();
            //城市名称
            String cityName = aElement2.text();
            //城市4位区划代码
            String cityCode = "";
            Element a = aElement.getElementsByTag("a").first();
            if (a != null) {
                String href = a.attr("href");
                //城市4位区划代码
                cityCode = href.split("\\.")[0].split("/")[1];
                if (next) {
                    String absUrl = a.absUrl("href");
                    //获取区县数据
                    getCountyInfo(provinceCode, cityCode, cityRCode, absUrl, next);
                }
            }
            System.out.println(cityName);
            sort++;
        }
    }

获取区县信息

    /**
     * 获取城市下面的区、县数据
     *
     * @param provinceCode 省份行政区划代码 2位
     * @param cityCode     城市行政区划代码 4位
     * @param cityRCode    城市行政区划代码 12位
     * @param sourceHtml   爬取网页
     * @param next         是否获取下级
     * @throws IOException
     */
    public void getCountyInfo(String provinceCode, String cityCode, String cityRCode, String sourceHtml, boolean next) throws IOException {
        Document document = this.getDocument2(null, sourceHtml, 5);
        if (null == document) {
            document = this.getDocument3(null, sourceHtml, 5);
        }
        //城市信息
        Elements countytr = document.getElementsByClass("countytr");
        if (countytr.size() == 0) {
            document = this.getDocument3(null, sourceHtml, 5);
        }
        countytr = document.getElementsByClass("countytr");
        if (countytr.size() == 0) {
            log.error(sourceHtml + "未获取到区、县信息");
        }
        int sort = 1;
        for (Element element : countytr) {
            Elements tds = element.getElementsByTag("td");
            Element aElement = tds.get(0);
            Element aElement2 = tds.get(1);
            //区/县12位区划代码
            String countyRCode = aElement.text();
            //区/县名称
            String countyName = aElement2.text();
            //区/县6位区划代码
            String countyCode = "";
            Element a = aElement.getElementsByTag("a").first();
            if (a != null) {
                String href = a.attr("href");
                //区/县6位区划代码
                countyCode = href.split("\\.")[0].split("/")[1];
                if (next) {
                    String absUrl = a.absUrl("href");
                    getStreetInfo(provinceCode, cityCode, countyCode, countyRCode, absUrl, next);
                }
            }
            System.out.println(countyName);
            sort++;
        }
    }

获取街道、镇信息

   /**
     * 获取街道信息
     *
     * @param provinceCode 省份CODE
     * @param cityCode     城市code
     * @param countyCode   区县code
     * @param countyRCode  区县完整code
     * @param sourceHtml   街道信息html地址
     * @param next         是否获取下级区划
     * @throws IOException 异常
     */
    public void getStreetInfo(String provinceCode, String cityCode, String countyCode, String countyRCode, String sourceHtml, boolean next) throws IOException {
        Document document = this.getDocument2(null, sourceHtml, 5);
        if (null == document) {
            document = this.getDocument3(null, sourceHtml, 5);
        }
        int sort = 1;
        //城市信息
        Elements towntr = document.getElementsByClass("towntr");
        if (towntr.size() == 0) {
            document = this.getDocument3(null, sourceHtml, 5);
        }
        towntr = document.getElementsByClass("towntr");
        if (towntr.size() == 0) {
            log.error(sourceHtml + "未获取到街道信息");
        }
        for (Element element : towntr) {
            Elements tds = element.getElementsByTag("td");
            Element aElement = tds.get(0);
            Element aElement2 = tds.get(1);
            //街道/镇12位区划代码
            String streetRCode = aElement.text();
            //街道/镇名称
            String streetName = aElement2.text();
            //街道/镇8位区划代码
            String streetCode = "";
            Element a = aElement.getElementsByTag("a").first();
            if (a != null) {
                String href = a.attr("href");
                //街道/镇8位区划代码
                streetCode = href.split("\\.")[0].split("/")[1];
                if (next) {
                    String absUrl = a.absUrl("href");
                    getCommitteeInfo(provinceCode, cityCode, countyCode, streetCode, streetRCode, absUrl, next);
                }
            }
            System.out.println(streetName);
            sort++;
        }
    }

获取社区，村庄信息

    /**
     * 获取社区、乡村信息
     *
     * @param provinceCode 省份CODE
     * @param cityCode     城市code
     * @param countyCode   区县code
     * @param sourceHtml   街道信息html地址
     * @param streetCode   街道code
     * @param streetRCode  街道完整code
     * @throws IOException
     */
    public void getCommitteeInfo(String provinceCode, String cityCode, String countyCode, String streetCode, String streetRCode, String sourceHtml, boolean next) throws IOException {
        Document document = this.getDocument2(null, sourceHtml, 5);
        if (null == document) {
            document = this.getDocument3(null, sourceHtml, 5);
        }
        //城市信息
        Elements villagetr = document.getElementsByClass("villagetr");
        if (villagetr.size() == 0) {
            document = this.getDocument3(null, sourceHtml, 5);
        }
        villagetr = document.getElementsByClass("villagetr");
        if (villagetr.size() == 0) {
            log.error(sourceHtml + "未获取到社区信息");
        }
        int sort = 1;
        for (Element element : villagetr) {
            Elements tds = element.getElementsByTag("td");
            Element aElement = tds.get(0);
            Element aElement2 = tds.get(1);
            Element aElement3 = tds.get(2);
            //社区/乡12位区划代码
            String committeeRCode = aElement.text();
            //城乡分类代码
            String type = aElement2.text();
            //社区/乡名称
            String committeeName = aElement3.text();
            System.out.println(committeeName);
            sort++;
        }
    }

完整代码地址

https://gitee.com/hjljy/crawler/tree/master/crawler

光滑的秃头
关注
  • 6
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
全国省市县五级联动.sql
12-19
全国省市县五级联动.sql
省市区名称与代码的SQL
11-09
省市区的mysql，可以直接导入数据库。省市区的mysql，可以直接导入数据库。
全国地区sql 包含港澳台
u012858077的博客
09-02 433
多种格式总有一个适合你，先上建表语句，需要完整sql可以去下载，不需要的索引记得删了 链接：https://pan.baidu.com/s/12mn3d5wuxyVYYhVuvYfuEg 提取码：kbio CREATE TABLE `area` ( `id` int(20) NOT NULL AUTO_INCREMENT COMMENT 'id', `area_code` varchar(10) NOT NULL COMMENT '地区编码', `area_name` varchar...
行政区域村级划分数据库_最新行政区划 省市区三级 街道乡镇四级 社区/村五级 每月更新（2020年12月版）...
weixin_35720035的博客
12-23 3406
2020年12月1日更新三级版 4331 行四级版 44983 行五级版 678956 行已经同步官方最新数据【民政部行政区划调整批复】更加 全面 规范 标准 权威34个省份 396个城市 3857个区县 三级版包括港澳台 四级五级不包括特别备注 685 功能区(新区、高新区、经济开发区) 直辖县级(到镇、街道)七大地理分区(华北地区 东北地区 华东地区 华中地区 华南地区 西南地区 西北...
全国村级行政区划数据
qq_53981814的博客
07-19 852
截止到2023年7月18日，已获取18个省份、3个自治区、4个直辖市、2个特别行政区的村级数据。剩下的地区也会陆续获取更新，这些还未获取的地区如下。省级、地级、县区级数据获取难度不大，且更新速度快。而乡镇/街道级、村/社区级的数据就很难获取到了。我国共有23个省份、5个自治区、4个直辖市、2个特别行政区。由于数据太多，故只放置部分图片供大家学习，四川省、广西省、内蒙古自治区的村级数据如下。同时，获取了大部分地区的村级数据，已获取到的地区如下。目前，根据国家统计局公布的数据，把行政区划共分为五级，分别为。
JAVA爬虫爬取国家统计局行政区划数据（2021年最新数据）
m0_43584016的博客
03-04 4456
一、引入jsoup依赖 <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.9.2</version> </dependency> 二、爬虫程序 @Service public class Ja
DAY02.使用JAVA从国家统计局爬取2020年全国统计用区划代码和城乡划分代码(省市区数据)
weixin_43638187的博客
11-27 3531
爬取国家统计局城乡数据1 获取数据 1.1  爬取省数据 1.2 爬取市数据 1.3 爬取区、县数据 1.4 爬取街道办、乡、镇数据 1.5 爬取社区、村数据 1.6  注意:   项目需求,，国家省市区名称代码，网上找了一圈2020年的都不是免费的，后来就自己做了个爬虫，因为自己本身做的时JAVA 开发，平常也没学过python，所以只能使用Java做一个爬虫，爬国家统计局的2020年城乡统计，爬到了村居委会一级共67w条数据 1 获取数据  1.1  爬取省数据     首先就是获取每一个省，然后根据每
全国省市县区乡镇街道村居委会五级行政区域数据库
柚子君的小窝
02-08 9868
本SQL文件包含了全国省级市级县区级乡镇街道级村居委会共767475个五级行政区域数据，原来网上的数据库格式很乱，且有生僻字乱码，数据缺失等情况，本人对其进行了修正优化，当然，由于数据来源有点旧，期间有些村镇数据会发生变化。 CSDN土豪下载 github免费下载[持续更新]...
全国省、市、区、乡镇/街道地址SQL
04-30
省、市、区、乡镇/街道地址行政编吗、全称、简称、经纬度、级别、排序，四级联动。建表SQL DROP TABLE IF EXISTS `area`; CREATE TABLE `area` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `parent_id` int(11) NOT NULL COMMENT '父级', `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名称', `short_name` varchar(30) NOT NULL DEFAULT '' COMMENT '简称', `longitude` varchar(30) NOT NULL DEFAULT '' COMMENT '经度', `latitude` varchar(30) NOT NULL DEFAULT '' COMMENT '纬度', `level` smallint(6) NOT NULL DEFAULT '0' COMMENT '级别 1 省 2 市 3 区 4 乡镇/街道', `sort` mediumint(9) NOT NULL COMMENT '排序', `status` tinyint(1) NOT NULL DEFAULT '1' COMMENT '状态 0 无效 1 有效', PRIMARY KEY (`id`), KEY `idx_parent_id` (`parent_id`), KEY `idx_longitude_latitude` (`longitude`,`latitude`), KEY `idx_level_status` (`level`,`status`) ) ENGINE=MyISAM AUTO_INCREMENT=659004503 DEFAULT CHARSET=utf8mb4 COMMENT='地址区域表';
北京市所有小区数据,北京市小区列表,北京市小区gps,北京市各地小区数据excel表格
07-04
数据信息包括：小区名(name)、省份(province)、城市(city)、区域(area)、地址(address)、纬度(latitude)、经度(longitude)、纬度(GPS)(latitude_gps)、经度(GPS)(longitude_gps)、物业类型(type)、物业费(management_fee)、总建面积(size)、总户数、建造年代、停车位、容积率、绿化率、开发商(producer)、物业公司(management)、相关学校(school)、小区介绍(info)
mysql-全国五级省市县镇村sql语句
08-13
mysql-全国五级省市县镇村sql语句，直接在mysql数据库中执行sql语句即可。
最新最全全国5级行政区域SQL数据文件，含区域编码、邮编、区号、经纬度，导入即可使用
11-27
最新最全全国5级行政区域SQL数据文件，含区域编码、邮编、区号、经纬度，导入即可使用，最优的表结构设计，方便大家开发使用！！！
爬取国家统计局数据正式篇
01-20
这是第一篇博客，小白不怎么会写，如果有不对的地方，请大家多多指教。 首先，我们的目标是从国家统计局数据查询官网：http://www.data.stats.gov.cn下获取相关数据，这里我目前爬取了国家年度、季度、月度，分省年度、季度、月度，其中主要城市年度数据和主要城市月度价格八项统计数据。年度数据截取最近二十年，月度数据截取最近36个月，季度数据截取最近18季度。但是由于每项数据的网页构成不尽相同，作为代表，下面只展示国家年度数据和分省年度数据的代码给大家看 首先是国家年度数据的代码，这是爬取其他数据的基础格式，前方高能预警！！ import requests import
2021全国省市区街道社区五级sql sys_area.sql
05-06
2021全国省市区街道社区五级sql
全国地区级联数据.五级级联，省市区街道社区
02-16
全国省市区镇乡村-五级联动(附全部源数据)，方便做五级联动。亲测可用，为mysqlj脚本。 压缩包内有两份，一份是分开五张表的，另一份是合成一张表的。非常齐全。希望能帮到大家
全国省市区街道村落五级联动GBK.zip
05-02
全国省市区街道村落五级联动真实可用，csv格式文件，附调用例子和导入数据库方法。支持导入到主流数据库sqlserver,oracle,mysql,db2,informix,sqlite等
2019年全国省市区街道居委五级区划代码数据库
02-27
爬取自国家统计局省市区街道居委会五级区划代码，一共713152条数据，来自国家统计局2019年更新的数据。
java获取行政区划获取到街道
qq_39400058的博客
01-14 2833
java获取 行政区划获取到街道前言代码获取数据引入依赖构建数据类获取全部省份数据获取每个省份的数据文件保存 前言 这几短时间需要获取行政区划，在网上看了很多的网站大部分都是直接网页直接加载，一个一个界面获取太麻烦所以自己录了段代码，自己获取行政区划。 之前试着做了一段java的爬虫，很不幸没做成功，但是这也对我这段代码做了铺垫吧。数据处理都是那时候学的，所以处理起来不算太难。 代码获取数据 引入...
jsp实现省市区街道社区五级联动
最新发布
09-29
JSP（JavaServer Pages）是一种用于创建动态网页的Java技术。要实现省市区街道社区五级联动，可以借助JSP和相关的技术来完成。 首先，需要准备相关的数据源，包括省、市、区、街道和社区的信息。可以将这些信息存储在数据库中，或者通过其他方式进行存储。 在JSP页面中，可以使用HTML元素和JSP代码来实现五级联动的效果。以下是一个简单的示例： 1. 省份下拉菜单： ```jsp <select name="province"> <option value="省份1">省份1</option> <option value="省份2">省份2</option> <!-- 其他省份选项 --> </select> ``` 2. 城市下拉菜单： ```jsp <select name="city"> <!-- 根据选择的省份，使用JSP代码动态生成城市选项 --> <option value="城市1">城市1</option> <option value="城市2">城市2</option> <!-- 其他城市选项 --> </select> ``` 3. 区县下拉菜单： ```jsp <select name="district"> <!-- 根据选择的省份和城市，使用JSP代码动态生成区县选项 --> <option value="区县1">区县1</option> <option value="区县2">区县2</option> <!-- 其他区县选项 --> </select> ``` 4. 街道下拉菜单： ```jsp <select name="street"> <!-- 根据选择的省份、城市和区县，使用JSP代码动态生成街道选项 --> <option value="街道1">街道1</option> <option value="街道2">街道2</option> <!-- 其他街道选项 --> </select> ``` 5. 社区下拉菜单： ```jsp <select name="community"> <!-- 根据选择的省份、城市、区县和街道，使用JSP代码动态生成社区选项 --> <option value="社区1">社区1</option> <option value="社区2">社区2</option> <!-- 其他社区选项 --> </select> ``` 在上述示例中，根据前一级下拉菜单的选择，使用JSP代码动态生成后一级下拉菜单的选项。通过这种方式，实现了省市区街道社区五级联动的效果。 当用户选择一个省份后，JSP代码会根据所选省份的值，从数据源中查询出对应的城市选项并动态生成城市下拉菜单；用户选择城市后，继续根据城市的值查询出对应的区县选项并动态生成区县下拉菜单；随后用户选择区县，根据区县的值查询出对应的街道选项并动态生成街道下拉菜单；最后用户选择街道，根据街道的值查询出对应的社区选项并动态生成社区下拉菜单。这样就实现了五级联动的效果。 需要注意的是，以上示例只是简单的演示，实际实现时需要根据具体的需求和数据源来进行适配和修改。使用JSP结合相关技术，可以方便地实现省市区街道社区五级联动。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值