java 省市区级联_java 爬取 国税局 省市区级联关系

因为数据比较大，存储为一个json，会内存溢出。

所以按照每个省市进行存储。

同时因为远程访问链接拿取数据，所以会将已经拿到网页进行缓存，以便下次使用。

package com.witwicky.jsoup;

import com.google.gson.Gson;

import com.google.gson.GsonBuilder;

import com.witwicky.vo.CrawlingVo;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

import org.jsoup.select.Elements;

import java.io.*;

import java.util.ArrayList;

import java.util.List;

import java.util.Random;

public class Crawling {

private static final String BASE_SAVE_DIR = "E:\\工作\\extract";

private static final String RESULT_SAVE_DIR = "E:\\工作\\extract_result";

public static void main(String[] args) throws Exception {

Gson gsonPretty = new GsonBuilder().setPrettyPrinting().create();

Gson gsonSimple = new GsonBuilder().create();

List crawlingVos =