利用scrapy框架爬取中国省市县镇村的数据

最新推荐文章于 2023-12-02 22:09:23 发布
最新推荐文章于 2023-12-02 22:09:23 发布
阅读量891 收藏 5
点赞数 2
分类专栏： 爬虫 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39393772/article/details/106234731
版权

GitHub地址：https://github.com/fanorfan/CrawlChinesePlaceNames

目录

准备工作

安装scrapy模块

cmd命令行输入以下命令：

pip install scrapy -i https://pypi.douban.com/simple/

创建scrapy项目

cmd命令行切换到要创建项目的路径，例如：

Microsoft Windows [版本 10.0.18363.720]
(c) 2019 Microsoft Corporation。保留所有权利。
C:\Users\Administrator>D:
D:\>

输入创建scrapy项目的命令：

scrapy startproject CrawlChinesePlaceNames

用Pycharm打开创建好的项目，目录如下：

目录

python代码

  1. 在与spiders文件夹同级目录下创建main.py文件代码如下：
# Author    : 不凡不弃
# Datetime  : 2020/5/19 0019 20:53
# description   : 主函数，指定并执行爬虫任务
from scrapy.cmdline import execute
import os
import sys

if __name__ == '__main__':
    sys.path.append(os.path.dirname(os.path.abspath(__file__)))
    # CrawlPlaceSpiders：要执行的爬虫任务名称（在place_spiders.py文件中定义的）
    execute(['scrapy', 'crawl', 'CrawlPlaceSpiders'])
  1. 在spiders文件夹里创建place_spiders.py文件，这个文件将要写爬虫的具体逻辑代码。

目录2

  1. 要爬取的网站：http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2019/

settings.py

settings.py文件里写一些配置参数，代码如下：

# -*- coding: utf-8 -*-
BOT_NAME = 'CrawlChinesePlaceNames'

SPIDER_MODULES = ['CrawlChinesePlaceNames.spiders']
NEWSPIDER_MODULE = 'CrawlChinesePlaceNames.spiders'
# 下载延迟1
DOWNLOAD_DELAY = 1
# 随机下载延迟
RANDOMIZE_DOWNLOAD_DELAY = True
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36'
# COOKIES_ENABLED = True
# 保存json文件所需的设置
ITEM_PIPELINES = {
    'CrawlChinesePlaceNames.pipelines.CrawlchineseplacenamesPipeline': 300,
}

items.py

items.py文件里写我们想要爬取的字段名，代码如下：

# -*- coding: utf-8 -*-
# Author    : 不凡不弃
# Datetime  : 2020/5/19 0019 20:53
# description   : 爬取的字段
import scrapy

class ChineseItem(scrapy.Item):

    province_num = scrapy.Field()	# 省代号
    province_name = scrapy.Field()	# 省名
    province_url = scrapy.Field()	# 省url
    city_num = scrapy.Field()		# 市代号
    city_name = scrapy.Field()		# 市名
    city_url = scrapy.Field()		# 市url
    county_num = scrapy.Field()		# 县代号
    county_name = scrapy.Field()	# 县名
    county_url = scrapy.Field()		# 县url
    town_num = scrapy.Field()		# 镇代号
    town_name = scrapy.Field()		# 镇名
    town_url = scrapy.Field()		# 镇url
    village_num = scrapy.Field()	# 村代号
    village_class = scrapy.Field()	# 村分类
    village_name = scrapy.Field()	# 村名

pipelines.py

pipelines.py文件里写爬取到的数据的保存逻辑代码，我们是保存为json文件。代码如下：

# -*- coding: utf-8 -*-
# Author    : 不凡不弃
# Datetime  : 2020/5/19 0019 20:53
# description   : 保存爬取到的数据
import json
import codecs

class CrawlchineseplacenamesPipeline:

    def __init__(self):
        # 创建要保存到的文件
        self.file = codecs.open('data.json', 'w', 'utf-8')
        # self.file.write("[")
        
	# item参数代表的就是爬取到的一条一条的数据
    def process_item(self, item, spider):
        # 将item转为字典格式，一行一行写入
        lines = json.dumps(dict(item), ensure_ascii=False) + '\n'
        self.file.write(lines)
        return item

    def close_spider(self, spider):
        # self.file.write("]")
        # 关闭资源
        self.file.close()

place_spiders.py

place_spiders.py文件写爬虫的具体逻辑代码如下：

  • 首先会执行parse()函数
    • 该函数会处理初始的网址start_urls
    • response.xpath("//a[@href]")中的"//a[@href]"是一个xpath表达式，用于提取指定的html元素，效果如下：
    • 对提取到的省份信息遍历，暂时保存字段：省代号、省名、省url
    • 对省url进行爬取（进入第二步）
  • 第二步会执行parse_city函数
    • 该函数会处理上一步传入的省url的网址
    • common()函数中定义xpath表达式适用于市、县、镇的网址
    • 对提取到的市信息遍历，获取上一步暂存的item数据，重新构造item，暂时保存字段：市代号、市名、市url
    • 对市url进行爬取（进入第三步）
  • 第三步会执行parse_county函数
    • 原理同第二步
  • 第四步会执行parse_town函数
    • 原理同第二步
  • 第五步会执行parse_village函数
    • xpath表达式改变"//tr[@class='villagetr']"
    • "td[1]/text()"获取村代号；"td[1]/text()"获取村分类；"td[1]/text()"获取村名
    • 村已经是最深层的爬取网址，直接将保存的数据item返回，不再有爬取的url
# Author    : 不凡不弃
# Datetime  : 2020/5/19 0019 20:53
# description   : 爬虫任务模块
import scrapy
from CrawlChinesePlaceNames.items import ChineseItem
import time

# 根网址
base_url = 'http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2019/'


# 抽取链接的公用方法
def common(response):
    common_list = response.xpath("//a")[:-1]
    number_list = [number for n, number in enumerate(common_list) if n % 2 == 0]
    name_list = [name for n, name in enumerate(common_list) if n % 2 == 1]
    return zip(number_list, name_list)


class CrawlPlaceSpiders(scrapy.Spider):
    # 爬虫名称
    name = "CrawlPlaceSpiders"
    # 允许的域名
    allowed_domains = ["'http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2019/index.html'"]

    # 首页
    start_urls = [
        'http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2019/index.html'
    ]
    # 客户端信息设置
    custom_settings = {
        "DEFAULT_REQUEST_HEADERS": {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36'
        }
    }

    # 爬虫任务的第一层任务
    def parse(self, response):
        """
            省
        :param response:
        :return:
        """
        # 匹配省份链接
        province_list = response.xpath("//a[@href]")
        # province_list = province_list[3:4]
        # 对每一个省份进行处理
        for province in province_list:
            # 省份名
            province_name = province.xpath("text()").extract()[0]
            # 省份url
            province_url = base_url + province.xpath("@href").extract()[0]
            # 省份代号
            province_num = province.xpath("@href").extract()[0].split('.', 1)[0]

            print("省名：", province_name, " 链接：", province_url)
            # 保存三个字段的值
            item = ChineseItem(province_num=province_num, province_name=province_name, province_url=province_url)
            # province_url：接下来要爬取的网址
            # callback：接下来爬取网址的回调函数
            # dont_filter：True  不过滤不在允许域名里的网址
            request = scrapy.Request(url=province_url, callback=self.parse_city, dont_filter=True)
            # 暂时保存item数据
            request.meta['item'] = item

            yield request

    # 爬虫任务的第二层任务
    def parse_city(self, response):
        """
            市
        :param response:
        :return:
        """
        # 对每一个市进行处理
        for number, name_tem in common(response):
            # 市代号
            num = number.xpath("text()").extract()[0]
            # 市名
            name = name_tem.xpath("text()").extract()[0]
            # 市url
            url = base_url + number.xpath("@href").extract()[0]

            # print("number：", num, " 名称：", name, " 链接：", url)

            # 获取上一步暂存的item数据，重新构造item
            item = response.meta['item']

            item = ChineseItem(province_num=item["province_num"], province_name=item["province_name"],
                               province_url=item["province_url"],
                               city_num=num, city_name=name, city_url=url)
            request = scrapy.Request(url=url, callback=self.parse_county, dont_filter=True)
            request.meta['item'] = item
            yield request
        print("yield all the links!")

    # 爬虫任务的第三层任务
    def parse_county(self, response):
        """
            县
        :param response:
        :return:
        """
        # 对每一个县进行处理
        for number, name_tem in common(response):
            # 县代号
            num = number.xpath("text()").extract()[0]
            # 县名
            name = name_tem.xpath("text()").extract()[0]
            # 县url
            url = base_url + num[:2] + "/" + number.xpath("@href").extract()[0]

            # print("number：", num, " 名称：", name, " 链接：", url)

            # 获取上一步暂存的item数据，重新构造item
            item = response.meta['item']

            item = ChineseItem(province_num=item["province_num"], province_name=item["province_name"],
                               province_url=item["province_url"],
                               city_num=item["city_num"], city_name=item["city_name"], city_url=item["city_url"],
                               county_num=num, county_name=name, county_url=url)

            request = scrapy.Request(url=url, callback=self.parse_town, dont_filter=True)
            request.meta['item'] = item
            yield request

    # 爬虫任务的第四层任务
    def parse_town(self, response):
        """
            镇
        :param response:
        :return:
        """
        # 对每一个镇进行处理
        for number, name_tem in common(response):
            # 镇代号
            num = number.xpath("text()").extract()[0]
            # 镇名
            name = name_tem.xpath("text()").extract()[0]
            # 镇url
            url = base_url + num[0:2] + "/" + num[2:4] + "/" + number.xpath("@href").extract()[0]

            # print("number：", num, " 名称：", name, " 链接：", url)

            # 获取上一步暂存的item数据，重新构造item
            item = response.meta['item']

            item = ChineseItem(province_num=item["province_num"], province_name=item["province_name"],
                               province_url=item["province_url"],
                               city_num=item["city_num"], city_name=item["city_name"], city_url=item["city_url"],
                               county_num=item["county_num"], county_name=item["county_name"],
                               county_url=item["county_url"],
                               town_num=num, town_name=name, town_url=url)

            request = scrapy.Request(url=url, callback=self.parse_village, dont_filter=True)
            request.meta['item'] = item
            yield request

    # 爬虫任务的第五层任务
    def parse_village(self, response):
        """
            村
        :param response:
        :return:
        """
        # 匹配村信息
        village_list = response.xpath("//tr[@class='villagetr']")
        # 对每一个村进行处理
        for village in village_list:
            # 村代号
            village_num = village.xpath("td[1]/text()").extract()[0]
            # 村分类
            village_class = village.xpath("td[2]/text()").extract()[0]
            # 村名
            village_name = village.xpath("td[3]/text()").extract()[0]

            # print("number：", village_num, " 村名：", village_name, " 分类代码：", village_class)

            # 获取上一步暂存的item数据，重新构造item
            item = response.meta['item']

            item = ChineseItem(province_num=item["province_num"], province_name=item["province_name"],
                               province_url=item["province_url"],
                               city_num=item["city_num"], city_name=item["city_name"], city_url=item["city_url"],
                               county_num=item["county_num"], county_name=item["county_name"],
                               county_url=item["county_url"],
                               town_num=item["town_num"], town_name=item["town_name"], town_url=item["town_url"],
                               village_num=village_num, village_name=village_name, village_class=village_class)

            # 这是最后一层直接返回item，不再需要scrapy.Request()函数
            yield item

程序效果

执行main.py中的main函数，会在项目的根目录生成一个data.json文件，效果如下：

{
	"province_num": "14", 
	"province_name": "山西省", 
	"province_url": "http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2019/14.html",
	"city_num": "141000000000",
	"city_name": "临汾市", 
	"city_url": "http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2019/14/1410.html",
	"county_num": "141032000000", 
	"county_name": "永和县", 
	"county_url": "http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2019/14/10/141032.html", 
	"town_num": "141032204000", 
	"town_name": "交口乡", 
	"town_url": "http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2019/14/10/32/141032204.html", 
	"village_num": "141032204200", 
	"village_name": "交口村委会",
	"village_class": "210"
}

爸爸

不凡不弃
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python利用Scrapy框架爬取豆瓣电影示例
09-18
主要介绍了Python利用Scrapy框架爬取豆瓣电影,结合实例形式分析了Python使用Scrapy框架爬取豆瓣电影信息的具体操作步骤、实现技巧与相关注意事项,需要的朋友可以参考下
利用Scrapy框架爬取妹子圖
01-08
Scrapy是一个强大的Python爬虫框架，它为网络数据抓取提供了高效、灵活的解决方案。本教程将指导你如何使用Scrapy来爬取“妹子圖”网站上的图片。 首先，确保你的开发环境中已经安装了Python。如果还没有，可以访问...
python 爬取全国最新省市区数据，并存入表
热门推荐
Knowledge Archiving and Sharing
08-08 2万+
本文通过调取高德行政区划查询接口，获取最新的数据信息（省、市、区、经纬度、行政级别、城市编码、行政编码等），并通过mysql.connector存入mysql数据库 表结构设计如下： CREATE TABLE `districts` ( `districtId` int(11) NOT NULL AUTO_INCREMENT, `districtPid` int(11) DEFAULT NULL COMMENT '上级ID', `name` varchar(32) DEFAULT NULL
Python+Pandas+Pymsql爬取全国各省市疫情数据并写入MySQL数据库
sbsbsb666666的博客
01-21 4514
Python和MySQL的一个结合，比较基础
python 爬虫去获得省市区县的数据
rigou11的博客
02-14 2355
爬虫
中国大陆五级行政区划数据爬虫
u013648515的博客
08-10 673
收集整理中国国家统计局公布的行政区划数据
分享 2022中国行政区划文本数据集（json格式）
dongrixinyu的专栏
10-23 4396
相信很多做自然语言处理、知识图谱、数据分析的小伙伴们都需要一份中国行政区划数据词典。 行政区划分为省、市、县、乡（街道）、村（社区）等五级，如下表所示： 城市 {"loc_name": ["北京市"], "loc_code": "110000000000"}{"loc_name": ["北京市", "市辖区"], "loc_code": "110100000000"}{"loc_name": ["北京市", "市辖
Python 爬取国家统计局官网中2018年所有省份下面的城市
基于matplotlib绘制的五角雷达图
11-05 403
# -*- coding: utf-8 -*- ''' Python 爬取国家统计局官网中2018年所有城市数据 ''' import pandas as pd import requests import time from bs4 import BeautifulSoup # BeautifulSoup库 def ProvenceGet(url,header): try: ...
全国行政区域代码（包含乡镇及各行政村）
06-12
最近项目需要用到全国行政区域代码，在网上进行搜索不是很全，现整理一份包含全国各级行政区域的代码sql
pandas 选择数据 字符串_pandas入门: 数据选择
weixin_39705435的博客
11-21 277
关于pandas数据选择的知识点总结。首先，创建一个dataframedf 创建的dataframe信息如下： A B C 0 3 1.2 aa 1 4 2.4 bb 2 8 4.5 cc 3 9 7.3 dd选择一列df1 = df['A'] # 根据列名选取一列，以Series的形式返回列 df1 = df.A # 与上面写法效果相同结果如下：0 3...
最新中国地区各种JSON、CSV数据大全
小北的博客
07-13 8091
中华人民共和国的行政区划
python爬取统计局数据第一弹
weixin_63253486的博客
06-20 4486
第一，本博客为本人进行学习所作的，所爬取数据为国家统计局公开数据，仅是个人学习使用。第二，爬虫所爬取的内容受严格限制，可参考我之前的博客，请勿在违法犯罪边缘试探。第三，配备环境说明:jupyter notebook(交互式感觉对爬虫来说更方便)与Chrome浏览器。
从国家统计局获取每月更新的月度数据的爬虫方法，供需要的人参考~
kakupig的博客
10-19 1184
因为自己本身参与经济金融相关工作，对pmi、失业率、货币供应量的数据比较敏感，所以每月会定时去爬取国家统计局更新的数据。首先，先下载一个历史数据表格，这需要在国家统计局注册一个账号，然后就可以下载了，建议下载csv格式，不占空间，读写速度快。当然excel也可以。然后，就是自己写的爬虫代码，因为不是专业出身，代码中用了大量的中文，属于个人风格，曾经有人建议，尽量不要在代码中使用中文，个人是希望未来有一天能用全中文写代码，故一直延续了自己的坚持（因人而异）。
国家统计局 省市区 数据爬取
tang1jun的博客
04-13 1511
代码参考网络，进行修改整合，需要的自留 import requests from bs4 import BeautifulSoup import pymysql import time """ 从国家统计局爬取省市区数据 保存到数据库 或者 生成 txt 数据源 """ class GetCitysToLocal(object): def __init__(self): # 保存到数据库 # self.db = pymysql.connect(host="l.
爬取国家统计局数据正式篇
python_solver的博客
06-21 1万+
首先对之前那篇博客四百多个访问量说声抱歉，由于4月底后专注于本专业的学习就没有管过python的事，今天刚刚考完，就把之前那篇博客的东西系统梳理一下 我们的目标是尽量爬取近20年所有的分省年度数据，并且按照国家统计局的父/子文件夹方式，把每一项数据写入excel文件中按指定的路径顺序排好。 这里代码不全部发出，会逐步讲解 首先导入requests（请求网站相应并打印源码），正则表达式re库，时间time库（主要用time.sleep来给予网站相应时间，避免代码运行过快导致浏览器跟不上），自动化浏览器爬取框架
爬取数据省市县镇村
zhangweibin123的博客
06-14 1542
package aa;import java.io.IOException;import java.util.HashMap;import java.util.Map;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elemen...
python 中tkinter 实现中国地图展示浙江各地市下属县、区，点击相应区县弹出相关名称
ducanwang的博客
07-16 541
python 中tkinter 实现中国地图展示浙江各地市下属县、区，点击相应区县弹出相关名称
jionlp :一款超级强大的Python 神器！轻松提取地址中的省、市、县
最新发布
m0_59596937的博客
12-02 4707
在日常数据处理中，如果你需要从一个完整的地址中提取出省、市、县三级地名，或者乡镇、村、社区两级详细地名，你可以使用一个第三方库来实现快速解析。在使用之前，你需要先安装这个库。为了更快速地安装，我们可以选择使用国内的软件源（比如豆瓣镜像）进行下载和安装所需的第三方库。当然，你也可以选择其他可靠的国内源进行操作。
利用python scrapy框架爬取“房天下”网站房源数据
05-15
总的来说，利用Python scrapy框架爬取“房天下”网站房源数据，需要对网站结构有深入的理解，并编写高效、稳定、规范的爬虫代码。只有这样才能大规模地爬取数据、处理数据和存储数据，获得数据挖掘和分析的收益。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值