java使用jsoup抓取省市县乡四级数据

最新推荐文章于 2021-05-18 08:54:47 发布
最新推荐文章于 2021-05-18 08:54:47 发布
阅读量246 收藏 1
点赞数 1
分类专栏： 服务器 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ITzhongzi/article/details/103575302
版权

原理： 使用 jsoup解析国家统计局的前端数据，倒入自己的数据库。

核心代码
package com.itzhongzi.area;

import com.alibaba.fastjson.JSONObject;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.util.Map;

public class Application {
    //    public static String SITE_URL = "http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2018/index.html";
    public static String SITE_URL = "http://localhost:8080/local/tjsj/tjbz/tjyqhdmhcxhfdm/2018/index.html";
    private static List<RegionEntry> regions = new ArrayList<RegionEntry>();
    private static List<String> errorList = new ArrayList<String>();
    private static int shengNum = 0;
    private static int shiNum = 0;
    private static int xianNum = 0;
    private static int zhenNum = 0;

    public static void main(String[] args) {
        System.out.println("抓取开始:" + new Date());
        getProvince();
        StringBuffer content = new StringBuffer();
        for (RegionEntry one : regions) {
            content.append("insert into sys_province values(null,'").append(one.getCode()).append("', '").append(one.getName()).append("', 1 );\r\n");
            for (RegionEntry two : one.getSub()) {
                content.append("insert into sys_city values(null,'").append(one.getCode()).append("', '").append(two.getCode() + "','").append(two.getName()).append("', 2);\r\n");
                for (RegionEntry three : two.getSub()) {
                    content.append("insert into sys_county values(null,'").append(one.getCode()).append("', '").append(two.getCode()).append("', '").append(three.getCode()).append("', '").append(three.getName()).append("', 3 );\r\n");
                    for (RegionEntry four : three.getSub()) {
                        content.append("insert into sys_town values(null,'").append(one.getCode()).append("', '").append(two.getCode()).append("', '").append(three.getCode()).append("', '").append(four.getCode()).append("','").append(four.getName()).append("', 4 );\r\n");
                    }
                }
            }
        }
        FileOutputStream out = null;
//        Region.writeFile(content.toString());
        try {
            out = new FileOutputStream(new File("/Users/huanghainongye/Desktop/area/area.txt"));
            byte[] bytes = content.toString().getBytes();
            out.write(bytes);
            out.flush();
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (out != null)
                try {
                    out.close();
                } catch (Exception e) {
                    e.printStackTrace();
                }
        }
        System.out.println("抓取完毕:" + new Date());
        System.out.println("省error:" + shengNum + "--" + "市error:" + shiNum +  "---" + "县error: " + xianNum + "----" + "镇error：" + zhenNum);
        System.out.println("错误列表：" + errorList.toString());
    }

    /**
     * 抓去省的数据
     */
    private static void getProvince() {
        Document doc;
        try {
            doc = Jsoup.connect(SITE_URL).timeout(0).get(); //Jsoup.connect(SITE_URL).get();
            Elements links = doc.select("tr.provincetr").select("a");
            RegionEntry region = null;
            for (Element e : links) {
                try {
                    region = new RegionEntry();
                    String href = e.attr("href");
                    String[] arr = href.split("\\.");
                    String code = arr[0];
                    if (arr[0].length() < 6) {
                        for (int i = 0; i < 6 - arr[0].length(); i++) {
                            code += "0";
                        }
                    }
                    region.setCode(code);
                    region.setName(e.text());
                    // href的绝地路径
                    String absHref = e.attr("abs:href");
                    System.out.println(absHref);
                    getCity(absHref, region);
                    regions.add(region);

                    System.out.println(region);
                    // 解析成json
                    JSONObject jsonobj = new JSONObject();
                    jsonobj.put("name", region.getName());
                    jsonobj.put("code", region.getCode());
                    jsonobj.put("subArea", region.getSub());
                    System.out.println(jsonobj);
                    System.out.println("-------------------------");

                } catch (Exception exp) {
                    errorList.add(e.text());
                    shengNum++;
                    exp.printStackTrace();
                }
            }
        } catch (Exception exception) {
            errorList.add("省份错误");
            exception.printStackTrace();
        }

    }

    /**
     * 抓去市的数据
     */
    public static void getCity(String url, RegionEntry region) {
        Document doc;
        try {
            System.out.println("getcity");
            doc = Jsoup.connect(url).timeout(0).get(); //Jsoup.connect(url).get().charset(charset);
//            <tr class='citytr'><td><a href='65/6501.html'>650100000000</a></td><td><a href='65/6501.html'>乌鲁木齐市</a></td></tr>
            Elements links = doc.select("tr.citytr");
            RegionEntry city;
            for (Element e : links) {
                city = new RegionEntry();
                Elements alist = e.select("a");
                Element codeE = alist.get(0);
                Element codeN = alist.get(1);
                String name = codeN.text();
                String code = codeE.text();
                if ("市辖区".equals(name)) {
                    name = region.getName();
                    //code = region.getCode();
                }
                city.setCode(code);
                city.setName(name);
                String absHref = codeE.attr("abs:href");
                getArea(absHref, city);
                region.getSub().add(city);
            }
        } catch (Exception exception) {
            shiNum++;
            errorList.add(region.getName());
            exception.printStackTrace();
        }
    }

    /**
     * 获取区县地址
     *
     * @param url
     * @param region
     */
    private static void getArea(String url, RegionEntry region) {
        Document doc;
        try {

            doc = Jsoup.connect(url).timeout(0).get(); // Jsoup.connect(url).get();
            //<tr class='countytr'><td><a href='01/130102.html'>130102000000</a></td><td><a href='01/130102.html'>长安区</a></td></tr>
            Elements links = doc.select("tr.countytr");
            RegionEntry area;
            for (Element e : links) {
                area = new RegionEntry();
                Elements alist = e.select("a");
                if (alist.size() > 0) {
                    Element codeE = alist.get(0);
                    String code = codeE.text();
                    area.setCode(code);
                    Element codeN = alist.get(1);
                    String name = codeN.text();
                    area.setName(name);
                    String absHref = codeE.attr("abs:href");
                    getTown(absHref, area);
                    region.getSub().add(area);
                } else {
                    alist = e.select("td");
                    area.setCode(alist.get(0).text());
                    area.setName(alist.get(1).text());
                    region.getSub().add(area);
                }
            }
        } catch (Exception exception) {
            errorList.add(region.getName());
            xianNum++;
            exception.printStackTrace();
        }

    }

    //乡镇
    private static void getTown(String url, RegionEntry region) {
        Document doc;
        try {
            doc = Jsoup.connect(url).timeout(0).get(); // Jsoup.connect(url).get();
            //<tr class='towntr'><td><a href='07/110107001.html'>110107001000</a></td><td><a href='07/110107001.html'>八宝山街道办事处</a></td></tr>
            Elements links = doc.select("tr.towntr");
            RegionEntry town;
            for (Element e : links) {

                town = new RegionEntry();
                Elements alist = e.select("a");
                if (alist.size() > 0) {
                    Element codeE = alist.get(0);
                    String code = codeE.text();
                    town.setCode(code);
                    Element codeN = alist.get(1);
                    String name = codeN.text();
                    town.setName(name);
                    region.getSub().add(town);
                } else {
                    alist = e.select("td");
                    town.setCode(alist.get(0).text());
                    town.setName(alist.get(1).text());
                    region.getSub().add(town);
                }
            }

        } catch (IOException e) {
            zhenNum++;
            errorList.add(region.getName());
            e.printStackTrace();
        }
    }

}
RegionEntry 实体类
package com.itzhongzi.area;

import java.util.ArrayList;
import java.util.List;

public class RegionEntry {
    private String code;
    private String name;
    private List<RegionEntry> sub = new ArrayList<RegionEntry>();

    public String getCode() {
        return code;
    }

    public void setCode(String code) {
        this.code = code;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public List<RegionEntry> getSub() {
        return sub;
    }

    public void setSub(List<RegionEntry> sub) {
        this.sub = sub;
    }

    public RegionEntry(String code, String name, List<RegionEntry> sub) {
        this.code = code;
        this.name = name;
        this.sub = sub;
    }

    public RegionEntry() {
    }

    @Override
    public String toString() {
        return "RegionEntry{" +
                "code='" + code + '\'' +
                ", name='" + name + '\'' +
                ", sub=" + sub +
                '}';
    }
}
结果展示

在这里插入图片描述

数据库结构创建
/*
 Navicat Premium Data Transfer

 Source Server         : 华为云测试
 Source Server Type    : MySQL
 Source Server Version : 50725
 Source Host           : 114.115.250.129:3306
 Source Schema         : area

 Target Server Type    : MySQL
 Target Server Version : 50725
 File Encoding         : 65001

 Date: 17/12/2019 10:47:30
*/

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for sys_city
-- ----------------------------
DROP TABLE IF EXISTS `sys_city`;
CREATE TABLE `sys_city` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增主键',
  `province_code` varchar(100) NOT NULL COMMENT '省份编码',
  `city_code` varchar(100) NOT NULL COMMENT '市 编码',
  `city_name` varchar(100) NOT NULL COMMENT '市名字',
  `area_num` int(11) NOT NULL COMMENT '1 省 2 市 3 县 4 乡',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=344 DEFAULT CHARSET=utf8 COMMENT='市  的数据';

-- ----------------------------
-- Table structure for sys_county
-- ----------------------------
DROP TABLE IF EXISTS `sys_county`;
CREATE TABLE `sys_county` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增主键',
  `province_code` varchar(100) NOT NULL COMMENT '省份编码',
  `city_code` varchar(100) NOT NULL COMMENT '市 编码',
  `county_code` varchar(100) NOT NULL COMMENT '县 编码',
  `county_name` varchar(100) NOT NULL COMMENT '县名字',
  `area_num` int(11) NOT NULL COMMENT '1 省 2 市 3 县 4 乡',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3283 DEFAULT CHARSET=utf8 COMMENT='县级的数据';

-- ----------------------------
-- Table structure for sys_province
-- ----------------------------
DROP TABLE IF EXISTS `sys_province`;
CREATE TABLE `sys_province` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增主键',
  `province_code` varchar(100) NOT NULL COMMENT '省编码',
  `province_name` varchar(100) NOT NULL COMMENT '省名字',
  `area_num` int(11) NOT NULL COMMENT '1 省 2 市 3 县 4 乡',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=32 DEFAULT CHARSET=utf8 COMMENT='记录各个省的数据';

-- ----------------------------
-- Table structure for sys_town
-- ----------------------------
DROP TABLE IF EXISTS `sys_town`;
CREATE TABLE `sys_town` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增主键',
  `province_code` varchar(100) NOT NULL COMMENT '省份编码',
  `city_code` varchar(100) NOT NULL COMMENT '市 编码',
  `county_code` varchar(100) NOT NULL COMMENT '县 编码',
  `sys_code` varchar(100) NOT NULL COMMENT '镇 编码',
  `sys_name` varchar(100) NOT NULL COMMENT '镇名字',
  `area_num` int(11) NOT NULL COMMENT '1 省 2 市 3 县 4 乡',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=43487 DEFAULT CHARSET=utf8 COMMENT='镇级的数据';

SET FOREIGN_KEY_CHECKS = 1;
ITzhongzi
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
java实现爬取省市区县镇乡区域信息.zip
02-03
基于Java使用Jsoup爬取省市区乡镇的源码，随时可以用相对新的数据了，需要的自行下载，适合爬虫新手练习
最新省市县乡四级行政区划带拼音和简拼sql
11-13
最新省市县乡四级行政区划,数据库表SQL备份文件,带拼音和简拼.
Jsoup 网络爬虫（动态ip代理，突破ip访问次数限制） 爬取全国各省市区数据
08-08
Jsoup实现省市区的爬取，突破ip的访问限制，实现动态ip代理，爬取最新的省市区信息
Jsoup获取全国地区数据（省市县镇村）
lkj_4720的博客
10-15 204
最近手头在做一些东西，需要一个全国各地的地域数据，从省市区到县镇乡街道的。各种度娘，各种谷歌，都没找到一个完整的数据。最后功夫不负有心人，总算找到一份相对来说比较完整的数据，但是这里的数据也只是精确到镇级别，没有村一级的数据（后来通过分析数据源我知道了为什么，呵呵），在加上博主提供的有些数据存在冗余，对于有强迫症和追求完美的我，心想着我一定要自己动手去把这部分数据给爬取出来。 ...
android使用Jsoup 抓取页面的数据
09-01
例如，以下是一个简单的Java测试代码示例，展示了如何从一个网页中抓取数据： ```java import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select....
java+jsoup抓取网页数据
12-21
以下是关于如何使用Java+Jsoup抓取网页数据的详细讲解。 首先，你需要了解HTML的基础结构，因为Jsoup的工作原理是解析HTML文档并提供类似于DOM的API来操作这些文档。HTML是由标签组成的树形结构，每个标签都有属性...
Java使用Jsoup抓取网页关键信息并入库
08-08
这个"小demo"可能是简单的Java应用，包含一个主类，通过Jsoup抓取网页信息后，使用PreparedStatement将数据存入MySQL。文件名"Jsoup获取网页内容实例"暗示了示例代码可能包含如何使用Jsoup进行网页解析的片段。 ...
Java爬虫Jsoup+httpclient获取动态生成的数据
10-19
在Web开发和数据抓取领域，Java爬虫技术是实现网页自动化信息提取的重要手段。本文主要讲述如何利用Java编程语言中的Jsoup库和HttpClient工具包来获取和解析动态生成的数据，特别是那些通过JavaScript动态加载的数据...
Jsoup爬取、java爬取中国行政区域
yuguang的博客
05-18 739
目录 1.网址 2.查询结果 3.java代码 3.1pom依赖 3.2实体类 3.3java代码 1.网址 国家统计局：http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2020/ 2020年12月中华人民共和国县以上行政区划代码：http://www.mca.gov.cn/article/sj/xzqh/2020/20201201.html 2.查询结果 备注（有时候因为网络原因，数据可能会丢失） ----省数..
省市县区四级数据库（mysql）.zip
05-10
中国2018省市区县街道4级联动数据库表，含省份、城市、地区、县城。本资源为mysql的数据库导出脚本sql，常用于电商、信息平台等
全国省、市、县、街道四级联动 MySQL 2019年5月更新.zip
02-14
最新全国省、市、县、街道、四级联动 2019年5月更新 MySQL数据库 里面包含一张表 4.7w条数据
国家统计局获取省市区数局--java实现.rar
05-24
普通java 项目。获取统计局网站公示的省市区数据。根据文件标签来获取地区编码。根据是否有超链接来判断是否是有效行政区。
JAVA+jsoup爬取某房产网房源信息
03-20
博客：https://blog.csdn.net/cherfz/article/details/88640459
Jsoup爬取国家统计局的数据
09-02
使用JSOUP爬取国家统计局的数据，包含省市区，镇、村级的数据可选。
Jsoup获取全国地区数据属性值（省市县镇村）
weixin_34122604的博客
06-07 147
2019独角兽企业重金招聘Python工程师标准>>> ...
java 爬取 国税局 省市区级联关系
weixin_30367873的博客
04-03 231
爬取网址 http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2018/index.html 因为数据比较大，存储为一个json，会内存溢出。 所以按照每个省市进行存储。 同时因为远程访问链接拿取数据，所以会将已经拿到网页进行缓存，以便下次使用。 package com.witwicky.jsoup; import com...
java 网络爬虫jsoup 抓取全中国 省市县镇村 完整全集信息 代码
Mr.Scofield
02-16 3326
java 网络爬虫 抓取全中国 省市县镇村 完整全集信息 代码代码下载地址scofield7419/ChinesePCCTVLocationExtractionChinesePCCTVLocationExtractionThis’s a cool try, budy.Description Complete Chinese location infos in the format of prov
通过Jsoup 和 htmlunit 爬取全国行政区划信息查询平台的省市区区划数据
简简单单Onlinezuozuo
09-10 5270
文章目录通过Jsoup 和 htmlunit 爬取全国行政区划信息查询平台的省市区区划数据1、包依赖2、定义省份初始数据3、定义数据对象和简单对象4、编写工具类5、通过webclient 构建虚拟访问6、编写连接接口7、开始爬数据8、扩展爬取9、扩展信息 通过Jsoup 和 htmlunit 爬取全国行政区划信息查询平台的省市区区划数据 1、包依赖 <dependency&...
Java使用Jsoup生成Word文档并处理图片
Jsoup是一个用于处理真实世界HTML的Java库，它提供了非常方便的API用于提取和操作数据，使用CSS或DOM选择器。在生成Word文档的场景中，Jsoup主要用来解析和清理HTML，以便将其转化为Word兼容的格式。 首先，我们...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ITzhongzi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值