本来只是考虑在程序中建一个省地县的树状选取构件,想从网上找一个地名库,结果不是要积分就是要会员。看到网上有介绍利用国家统计局统计用区划代码抓取的,心想自己也可以抓取试试,结果在这个歧路上越走越远,用了一个半月才在不太满意的情况下结束。
本以为抓取用不了多长时间,结果用了两夜一个白天才抓取完,虽说中间程序也有偷停,也远远超出了我的想象,可见国家之大。另外就是我的程序写的太笨了,中间程序也会莫名其妙的偷停,也没有实现多线程抓取。今后再研究吧。
记录共抓取了省级31个,地级342个,县级2990,乡级41613,村级594142。共计639118个。省地县乡四级里面,有些只有地名,统计用区划代码,没有下级链接的,未能抓取。其他不知道还有没有遗漏?
国家统计局主页http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2020/index.html