java爬取行政区划代码

最新推荐文章于 2024-04-23 18:52:22 发布
最新推荐文章于 2024-04-23 18:52:22 发布
阅读量512 收藏 3
点赞数
分类专栏： springboot 文章标签： java 开发语言 servlet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37888609/article/details/129177394
版权

1、导入依赖

        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.14.3</version>
        </dependency>

        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.5</version>
        </dependency>

2、代码

package com.lxq.excel;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.lxq.excel.util.HttpClientUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;

/**
 * @Author lixiaoqiang
 * @Date 2023/2/22 16:18
 */
public class GetCityCode {

    private static String[]  classSrcs=new String[]{
            "provincetr","citytr","countytr","towntr","villagetr"
    };
    private static int i = 0;
    static String fileName;
    public static void main(String[] args) {
        try {
            testProvince();
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
    static void testCatch(){
        try {
            //Document doc = Jsoup.parse(new URL(url).openStream(), "GBK", url);
            // System.out.println(doc.toString());
            int a = 10/0;
        }catch (Exception e){
            System.out.println("catch");
            return;
        }
        System.out.println("last");
    }
    // 省
    public static void testProvince() throws Exception {
        String url = "http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2022/index.html";
        Document doc=Jsoup.connect(url).get();
        String s = HttpClientUtils.doGet("http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2022/index.html");
        System.out.println(s);
        //Document doc=Jsoup.parse(s);
        //Document doc = Jsoup.parse(new URL(url).openStream(), "gb2312", url);
        //System.out.println(doc.toString());
        Elements containers = doc.getElementsByClass("provincetr");
        Document containerDoc = Jsoup.parse(containers.toString());
        int size = containerDoc.select("a").size();
        for (int i = 0; i < size; i++) {
            String pH = containerDoc.select("a").get(i).attr("href");
            String pName = containerDoc.select("a").get(i).text();
            System.out.println(containerDoc.select("a").get(i).attr("href"));
            System.out.println(containerDoc.select("a").get(i).text());
            fileName = pName+".csv";
            if (i > 12) {
                int t = url.lastIndexOf("/");
                String cityUrl = url.substring(0, t + 1);
                testCity(cityUrl + pH);
                //resCrabData(cityUrl+pH,classSrcs[1]);
            }
            int t = url.lastIndexOf("/");
            String cityUrl = url.substring(0, t + 1);
            //testCity(cityUrl + pH,);
        }
        // System.out.println(containerDoc.toString());
    }

    public static String selectNextClassSrcByCurSrc(String curSrc){
        System.out.println("aaaaaaaaa=="+curSrc);
        for(int i =0;i<classSrcs.length;i++){
            String s = classSrcs[i];
            if(s.equals(curSrc) && i!= (classSrcs.length-1)){
                return classSrcs[i+1];
            }
        }
        return null;
    }

    // 市
    public static void testCity(String url) throws Exception {
        //Document doc = Jsoup.parse(new URL(url).openStream(), "GBK", url);
        // System.out.println(doc.toString());
        Document doc=Jsoup.connect(url).get();
        Elements containers = doc.getElementsByClass("citytr");
        int elementsSize = containers.size();
        // System.out.println(elementsSize);
        // System.out.println(containers.toString());
        for (int i = 0; i < elementsSize; i++) {
            Element e = containers.get(i);
            // System.out.println(e.toString()+"==");
            Document containerDoc = Jsoup.parse(e.toString());
            int size = containerDoc.select("a").size();
            // System.out.println(size);
            String cH = containerDoc.select("a").get(0).attr("href");
            String cCode = containerDoc.select("a").get(0).text();
            String cName = containerDoc.select("a").get(1).text();

            String countryUrl = url.substring(0, url.lastIndexOf("/") + 1);
            JSONObject json = new JSONObject();
            json.put("cityCode",cCode);
            json.put("cityName",cName);
            testCountry(countryUrl + cH,json.toJSONString());
            /*
             * for(int j = 0;j<size;j++){ String
             * cH=containerDoc.select("a").get(j).attr("href"); String
             * cName=containerDoc.select("a").get(j).text();
             * System.out.println(cH+"===="); System.out.println(cName+"==="); }
             */
        }

        // for(int i =0 ;i<size;i++){
        // String cH=containerDoc.select("a").get(i).attr("href");
        // String cName=containerDoc.select("a").get(i).text();
        // System.out.println(cH);
        // System.out.println(cName);
        // }

    }

    // 县
    public static void testCountry(String url,String j) throws Exception {
        //Document doc = Jsoup.parse(new URL(url).openStream(), "GBK", url);
        // System.out.println(doc.toString());
        Document doc=Jsoup.connect(url).get();
        Elements containers = doc.getElementsByClass("countytr");
        int elementsSize = containers.size();
        //System.out.println(elementsSize);
        // System.out.println(containers.toString());
        for (int i = 0; i < elementsSize; i++) {
            Element e = containers.get(i);
            // System.out.println(e.toString()+"==");
            Document containerDoc = Jsoup.parse(e.toString());
            int size = containerDoc.select("a").size();
            // System.out.println(size);
            if (size == 0) {
                // int ss=e.select("td").size();
                // System.out.println(ss);
                System.out.println("code===" + e.select("td").get(0).text());
                System.out.println("name===" + e.select("td").get(1).text());
                JSONObject json = JSON.parseObject(j);
                json.put("countryCode",e.select("td").get(0).text());
                json.put("countryName",e.select("td").get(1).text());
                write(json);
                // int ss=containerDoc.select("td").size();
                // System.out.println(ss);
            } else {
                String cH = containerDoc.select("a").get(0).attr("href");
                String cCode = containerDoc.select("a").get(0).text();
                String cName = containerDoc.select("a").get(1).text();

                JSONObject json = JSON.parseObject(j);
                json.put("countryCode",cCode);
                json.put("countryName",cName);

                String countryUrl = url.substring(0, url.lastIndexOf("/") + 1);
                testTown(countryUrl + cH,json.toJSONString());
            }

        }

    }

    // 乡、镇
    public static void testTown(String url,String j) throws Exception {
        List<JSONObject> list = new ArrayList<>();
        Document doc;
        try {
        //Document doc = Jsoup.parse(new URL(url).openStream(), "GBK", url);
        // System.out.println(doc.toString());
            doc = Jsoup.connect(url).get();
        }catch (Exception e){
            testTown(url,j);
            return;
        }
        Elements containers = doc.getElementsByClass("towntr");
        int elementsSize = containers.size();
        //System.out.println(elementsSize);
        // System.out.println(containers.toString());
        for (int i = 0; i < elementsSize; i++) {
            Element e = containers.get(i);
            // System.out.println(e.toString()+"==");
            Document containerDoc = Jsoup.parse(e.toString());
            int size = containerDoc.select("a").size();
            // System.out.println(size);
            if (size == 0) {
                // int ss=e.select("td").size();
                // System.out.println(ss);
                System.out.println("code===" + e.select("td").get(0).text());
                System.out.println("name===" + e.select("td").get(1).text());
                JSONObject json = JSON.parseObject(j);
                json.put("townCode",e.select("td").get(0).text());
                json.put("townName",e.select("td").get(1).text());
                write(json);
                // int ss=containerDoc.select("td").size();
                // System.out.println(ss);
            } else {
                String cH = containerDoc.select("a").get(0).attr("href");
                String cCode = containerDoc.select("a").get(0).text();
                String cName = containerDoc.select("a").get(1).text();

                JSONObject json = JSON.parseObject(j);
                json.put("townCode",cCode);
                json.put("townName",cName);
                String villageTrUrl = url.substring(0, url.lastIndexOf("/") + 1);
                testVillageTr(villageTrUrl + cH,json.toJSONString());
            }

        }

    }
    // 乡、镇
    public static void testTown2(String url,String j) throws Exception {
        //Document doc = Jsoup.parse(new URL(url).openStream(), "GBK", url);
        // System.out.println(doc.toString());
        Document doc=Jsoup.connect(url).get();
        Elements containers = doc.getElementsByClass("towntr");
        int elementsSize = containers.size();
        //System.out.println(elementsSize);
        // System.out.println(containers.toString());
        for (int i = 0; i < elementsSize; i++) {
            Element e = containers.get(i);
            // System.out.println(e.toString()+"==");
            Document containerDoc = Jsoup.parse(e.toString());
            int size = containerDoc.select("a").size();
            // System.out.println(size);
            if (size == 0) {
                // int ss=e.select("td").size();
                // System.out.println(ss);
                System.out.println("code===" + e.select("td").get(0).text());
                System.out.println("name===" + e.select("td").get(1).text());
                JSONObject json = JSON.parseObject(j);
                json.put("townCode",e.select("td").get(0).text());
                json.put("townName",e.select("td").get(1).text());
                write(json);
                // int ss=containerDoc.select("td").size();
                // System.out.println(ss);
            } else {
                String cH = containerDoc.select("a").get(0).attr("href");
                String cCode = containerDoc.select("a").get(0).text();
                String cName = containerDoc.select("a").get(1).text();

                JSONObject json = JSON.parseObject(j);
                json.put("townCode",cCode);
                json.put("townName",cName);
                String villageTrUrl = url.substring(0, url.lastIndexOf("/") + 1);
                testVillageTr(villageTrUrl + cH,json.toJSONString());
            }

        }

    }
    public static void testVillageTr(String url,String j)  {
        //Document doc = Jsoup.parse(new URL(url).openStream(), "GBK", url);
        // System.out.println(doc.toString());
        List<JSONObject> list = new ArrayList<>();
        try {
            Document doc=Jsoup.connect(url).get();
            Elements containers = doc.getElementsByClass("villagetr");
            int elementsSize = containers.size();
            System.err.println(elementsSize);
            // System.out.println(containers.toString());
            for (int i = 0; i < elementsSize; i++) {
                Element e = containers.get(i);
                // System.out.println(e.toString()+"==");
                Document containerDoc = Jsoup.parse(e.toString());
                int size = containerDoc.select("a").size();
                // System.out.println(size);
                if (size == 0) {
                    int ss = e.select("td").size();
                    System.out.println(ss);
                    String cCode = e.select("td").get(0).text();
                    String cName = e.select("td").get(2).text();
                    JSONObject json = JSON.parseObject(j);
                    json.put("villageTrCode",cCode);
                    json.put("villageTrName",cName);
                    list.add(json);

                } else {
                    String cCode = containerDoc.select("a").get(0).text();
                    String cName = containerDoc.select("a").get(2).text();

                    JSONObject json = JSON.parseObject(j);
                    json.put("villageTrCode",cCode);
                    json.put("villageTrName",cName);
                    list.add(json);

                }

            }
        }catch (Exception e){
            list = new ArrayList<>();
            System.err.println("url"+url);
            testVillageTr(url,j);
        }
        list.forEach(a->{
            write(a);
        });
    }
    // 村

    public static void testVillageTr2(String url,String j) throws Exception {
        //Document doc = Jsoup.parse(new URL(url).openStream(), "GBK", url);
        // System.out.println(doc.toString());
        Document doc=Jsoup.connect(url).get();
        Elements containers = doc.getElementsByClass("villagetr");
        int elementsSize = containers.size();
        System.out.println(elementsSize);
        // System.out.println(containers.toString());
        for (int i = 0; i < elementsSize; i++) {
            Element e = containers.get(i);
            // System.out.println(e.toString()+"==");
            Document containerDoc = Jsoup.parse(e.toString());
            int size = containerDoc.select("a").size();
            // System.out.println(size);
            if (size == 0) {
                int ss = e.select("td").size();
                System.out.println(ss);
                String cCode = e.select("td").get(0).text();
                String cName = e.select("td").get(2).text();
                JSONObject json = JSON.parseObject(j);
                json.put("villageTrCode",cCode);
                json.put("villageTrName",cName);
                write(json);
            } else {
                String cCode = containerDoc.select("a").get(0).text();
                String cName = containerDoc.select("a").get(2).text();

                JSONObject json = JSON.parseObject(j);
                json.put("villageTrCode",cCode);
                json.put("villageTrName",cName);
                write(json);
            }

        }

    }
    private static void write(JSONObject json){
        System.out.println(json.toJSONString());
        try {
            boolean newFile = false;
            String filePath = "E:\\md\\tmp\\"+fileName;
            // 输出的文件流
            File file = new File(filePath);
            if (!file.exists()){
                file.createNewFile();
                newFile = true;
            }
            FileOutputStream os = new FileOutputStream(file, true);
            if(newFile){
                os.write("cityCode,cityName,countryCode,countryName,townCode,townName,villageTrCode,villageTrName".getBytes());
                String newLine = System.getProperty("line.separator");
                os.write(newLine.getBytes());
            }
            String msg = json.getString("cityCode")+","
                    +json.getString("cityName")+","
                    +json.getString("countryCode")+","
                    +json.getString("countryName")+","
                    +json.getString("townCode")+","
                    +json.getString("townName")+","
                    +json.getString("villageTrCode")+","
                    +json.getString("villageTrName");
            // 开始读取
            os.write(msg.getBytes());
            String newLine = System.getProperty("line.separator");
            os.write(newLine.getBytes());
            // 完毕，关闭所有链接
            os.close();
        }catch (IOException e){

        }

    }


}
不会喵的猫
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Java爬取网站源代码和链接代码实例
08-25
主要介绍了Java爬取网站源代码和链接代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
行政区划代码
08-14
区划代码来自http://jiasule.v2ex.com/t/290394 @jzy 事务所代码来自http://www.acpaa.cn/view/agencySearch.jhtml 通过爬虫获取
使用JAVA从国家统计局爬取2022年全国统计用区划代码和城乡划分代码(省市区数据)
wmnh008的专栏
07-03 520
【代码】使用JAVA从国家统计局爬取2022年全国统计用区划代码和城乡划分代码(省市区数据)
java爬取国家统计局之统计用区划和城乡划分代码（省市区三级）
lock_xuanqing的博客
09-15 1761
java爬取国家统计局之统计用区划和城乡划分代码 用户项目中地址的联动选择
java 行政划分_Area.java · monkey/中国行政区划表包括34个省直辖市的所有数据 - Gitee.com...
weixin_42284380的博客
02-25 585
/*** Copyright (c) 2013-Now http://jeesite.com All rights reserved.*/package com.jeesite.modules.sys.entity;import org.hibernate.validator.constraints.Length;import javax.validation.constraints.NotBla...
Java行政区划代码处理，包含源JSON文件，处理过后的JSON、Excel、SQL文件
weixin_43165220的博客
06-02 1302
民政部最新的行政区划代码，包含源JSON文件，处理后的JSON、Excel、SQL文件
Java 爬取行政区划代码
qq_33422712的博客
11-01 753
零、爬虫个人理解 获取想要的数据。找到网站，访问网址获取到粗数据，使用技术手段解析出我们想要的数据和下层的请求的网址，然后再来一次直到没有下层。如：省->市->县->镇->村 一、导入依赖 <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> ...
Java爬取行政区域信息到数据库
ggg6568的博客
05-31 217
/
java 行政区划获取代码 省/市/县/乡镇/街道/村委会 层级 DivisionAdvUtil 爬虫获取完整的行政区划 代码完整 可运行
shengguimin的博客
04-23 1040
③.选择对应的年份,获取路径,这里用2022年的数据,地址为:http://www.stats.gov.cn/sj/tjbz/tjyqhdmhcxhfdm/2022/index.html。* 数据源查看: ①.http://www.stats.gov.cn/sj/tjbz
java获取行政区划编码（省市区县居委5级）
qq_15421685的博客
05-16 5043
获取最新的省市区县字典数据代码
Java爬虫-2018国家统计局区划和城乡划分代码
03-13
java爬虫，国家统计局区划编码http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/；
地区码与地区名称相互转换java代码11.zip
07-12
地区码与地区名称相互转换java代码11.zip
2016年最新行政区域代码-省-市-区-乡镇
05-05
最新的行政区域代码JSON 数据库，文件已经按照jsonArray 的标准格式写入，可以用于任何程序进行解析查询，不用考虑再去重新抓取数据。
2017统计局区划编码爬虫
08-28
这是Java写的爬虫，从统计局爬取国家区划信息，代码里只有湖南的，直接运行，可以直接爬取湖南省的区划代码，并生成Sql文件，可以直接导入数据，需要爬取其他省份的，或全国的，需要自己修改代码。
行政区划代码（省、市、县）
06-02
行政区划代码，到省、市、县（区）级，包含原始JSON数据和处理后的JSON、Excel、SQL数据。
行政区划代码，有上下级关系的，可直接做为开发字典
03-12
行政区划代码，有上下级关系的，可直接做为开发字典，行政区划代码，有上下级关系的，可直接做为开发字典。
java爬取京东数据
08-10
java爬取京东数据，利用java的dom类，运用request获取前端页面的dom，再通过特定的格式获取对应的标签。
mybatisPlus使用MetaObjectHandler对字段进行更新
最新发布
m0_56356631的博客
04-23 313
都是符合我们的预期的。
string模拟实现
m0_73969414的博客
04-23 1426
c++中string的模拟实现，面试必会知识点
java爬取国家统计局行政区划
10-18
您好，可以使用Java的Jsoup库来爬取国家统计局行政区划信息。具体步骤如下： 1. 打开国家统计局行政区划页面：http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/ 2. 使用Jsoup库获取页面内容，并解析出需要的信息...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值