【爬虫案例】python爬取XX银行在每个地区的数量

已于 2022-07-04 18:08:09 修改
阅读量970 收藏 6
点赞数
文章标签： python 爬虫 开发语言
于 2022-07-04 17:14:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32139191/article/details/125244662
版权

任务如下：

爬取XX银行在全国各地的数量，该银行在XX省XX区XX市的数量。

（该网址没有robots.txt规则，若有需遵守规则）

只以两种银行为例，仅供学习使用。

A银行是从后端返回给前端是数据是json格式，也就是最常见的前后端分离模式。

做过后端项目的应该知道，这里返回的json数据就是DTO（数据传输对象）数据，当前端要我们返回某些数据的时候，我们不可能把所有数据（例如敏感数据或无关数据）全部都传输到前端，这样很容易就泄露大量的信息。于是就有了DTO，它封装了一部分可对外公开的数据，同时也可以节省流量。

我们能够获取到这个DTO，就能往下继续分析如何利用并爬取这类信息。

而B银行则是以htm结尾的静态页面，也就是不通过服务器编译解释直接送出给浏览器读取的静态网页，它没有返回数据，这类处理起来比较麻烦，后面会说。

 

 

 A银行

分析

先从A银行开始说。思路如下：随便输入地区，可以发现返回了一部分搜索结果。 

观察网址发现并没有变化。

来到F12网络那块，可以看到发送请求的地址，并且有明确的各种id。

试了几次之后，可以确定如下：

p=110000&c=110100&b=110101&q=&t=1&z=0&i=0

p是省 c是市 b是区县  z是业务类型  t是营业网点   q是关键字  i是搜索结果的页数

预览中也是正常的json数据

我们复制请求网址到浏览器，可以发现正常返回的json格式数据，这意味着我们可以通过python模拟访问这样的网址，从而获取到该请求返回的json数据，通过进一步筛选得到我们想要的数据。 

实现

 先写出获取页面的代码，使用json库转换为python的dict字典对象

import requests #网络请求
from bs4 import BeautifulSoup #页面解析

import json
from jsonpath import jsonpath

url = "https://app.abchina.com/branch/common/BranchService.svc/Branch?p=110000&c=110100&b=110101&q=&t=1&z=0&i=0"
# p是省 c是市 b是区县  z是业务类型  t是营业网点   q是关键字  i是搜索结果的页数
headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36"}
req = requests.get(url=url,headers=headers) #访问的地址，
req.encoding='utf-8'
txt = req.text#txt是str类型
# print(txt+"\n")

txt1 = json.loads(txt)
print(txt1)#loads转成字典类型

在一级目录下，能看到一个叫TotalCount的属性，和BranchSearchRests里的数据进行比对，可以知道这个就是当前区县所拥有的A银行数量，也就是北京市东城区的A银行数量。我们要的就是这个，但还不够，我们还需要其他的属性，用于我们后面的处理。 

打开BranchSearchRests，可以看到几个主要的数据，BroughId,CityId,ProvinceId,Name， 也就是我上面说的，对应到请求网址中的，p是省 c是市 b是区县，我们需要得到对应的Id，对他们逐个进行循环，就能够得到每一个区县的准确请求网址。对这些网址进行模拟访问，就能够得到每个区县的A银行数量。

 因为没有用过jsonpath，所以查了一下用法，参考Python3中JsonPath用法 - 漂泊的小虎 - 博客园

于是我们可以先输出一下看看是否能获取到准确数据，以Name和Address为例

list_name = jsonpath(txt1, '$..BranchSearchRests[*].BranchBank.Name')
print(list_name)

list_adress = jsonpath(txt1, '$..BranchSearchRests[*].BranchBank.Address')
print(list_adress)

 

回到F12网络页面，能发现初始页面还有其他其他的请求

 里面是关于省的Id和名称，我们需要它出现在循环里面，所以将它拿下来。

url2="https://app.abchina.com/branch/common/BranchService.svc/District"
headers={"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36"}
req=requests.get(url=url2,headers=headers) #访问的地址，
req.encoding='utf-8'
txt=req.text#txt是双引号
txt1 = json.loads(txt)
# print(txt1)
list_province_id = jsonpath(txt1, '$..Id')
list_province_name = jsonpath(txt1, '$..Name')
print(list_province_id)
print(list_province_name)
print(type(list_province_id[0]))

 此时，list_province_id列表里是str类型，为方便后面测试，先改成int型，需要的时候再转换成str。转换方法为新建一个列表，遍历原列表并强转然后赋给新列表，

list_num_province_id = list(int(x) for x in list_province_id)
print(type(list_num_province_id[0]))

 

这样我们就可以开始对省市进行循环了，如下

url = "https://app.abchina.com/branch/common/BranchService.svc/District"
try:
    headers = {
        "user-agent":
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36"
    }
    r = requests.get(url, headers)
    r.encoding = 'utf-8'
    txt = r.text  #txt是双引号
    txt1 = json.loads(txt)
    #     print(txt1)
    list_province_id = jsonpath(txt1, '$..Id')
    list_num_province_id = list(int(x) for x in list_province_id)
    # 省市列表
    print(list_num_province_id)

    #对省市循环
    for province_id in list_num_province_id:
        # 这里用来测试，遍历到13000时候就先停止
        if (province_id > 130000):
            break
        # 拼接成地市的链接
        url1 = "https://app.abchina.com/branch/common/BranchService.svc/District/" + str(
            province_id)
        print(url1)
        r = requests.get(url1, headers)
        r.encoding = 'utf-8'
        txt = r.text  #txt是双引号
        txt1= json.loads(txt)
        print(txt1)
except:
    print("爬取失败")

 可以看到，对省市的链接进行访问，可以得到地市的id与name，那么继续使用地市id就可以获得区县的id与name。同样，对地市使用jsonpath获取id，转换成int，做循环。

url = "https://app.abchina.com/branch/common/BranchService.svc/District"
# try:
headers = {
    "user-agent":
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36"
}
r = requests.get(url, headers)
r.encoding = 'utf-8'
txt = r.text  #txt是双引号
txt1 = json.loads(txt)
#     print(txt1)
list_province_id = jsonpath(txt1, '$..Id')
list_num_province_id = list(int(x) for x in list_province_id)
# 省市列表
print(list_num_province_id)

#对省市循环
for province_id in list_num_province_id:
    # 这里用来测试，遍历到13000时候就先停止
    if (province_id > 130000):
        break
    url1 = "https://app.abchina.com/branch/common/BranchService.svc/District/" + str(
        province_id)
#         print(url1)
    r = requests.get(url1, headers)
    r.encoding = 'utf-8'
    txt = r.text  #txt是双引号
    txt1= json.loads(txt)
    print(txt1)
    list_city_id = jsonpath(txt1, '$..Id')
    list_num_city_id = list(int(x) for x in list_city_id)

    # 对地市循环
    for district_id in list_num_city_id:
        url2 = "https://app.abchina.com/branch/common/BranchService.svc/District/any/" + str(
            district_id)
        print(url2)
        r = requests.get(url2, headers)
        r.encoding = 'utf-8'
        txt = r.text  #txt是双引号
        txt1 = json.loads(txt)
        print(txt1)

 地址和获取到的数据都正常，继续使用jsonpath选取id和name：
list_district_id = jsonpath(txt1, '$..Id')
list_district_name = jsonpath(txt1, '$..Name')，
然后循环内进行拼接
url3 = "https://app.abchina.com/branch/common/BranchService.svc/Branch?p=" +
          str(province_id) + "&c=" + str(district_id) + "&b=" + str(item2[0]) + "&q=&t=1&z=0&i=0"

这里的循环使用zip()函数，zip()函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的对象，这样做的好处是节约了不少的内存。

import requests #网络请求
from bs4 import BeautifulSoup #页面解析
import pandas as pd #保存数据
import time
import json
from jsonpath import jsonpath

# import urllib
url = "https://app.abchina.com/branch/common/BranchService.svc/District"

headers = {
    "user-agent":
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36"
}
r = requests.get(url, headers)
r.encoding = 'utf-8'
txt = r.text  #txt是双引号
txt1 = json.loads(txt)
#     print(txt1)
list_province_id = jsonpath(txt1, '$..Id')
list_num_province_id = list(int(x) for x in list_province_id)
# 省市列表
print(list_num_province_id)

#对省市循环
for province_id in list_num_province_id:
    # 这里用来测试，遍历到13000时候就先停止
    if (province_id > 130000):
        break
    url1 = "https://app.abchina.com/branch/common/BranchService.svc/District/" + str(
        province_id)
#         print(url1)
    r = requests.get(url1, headers)
    r.encoding = 'utf-8'
    txt = r.text  #txt是双引号
    txt1= json.loads(txt)
    print(txt1)
    list_city_id = jsonpath(txt1, '$..Id')
    print("市区id")
    list_num_city_id = list(int(x) for x in list_city_id)
    print(list_num_city_id)
    # 对地市循环
    for district_id in list_num_city_id:
        url2 = "https://app.abchina.com/branch/common/BranchService.svc/District/any/" + str(
            district_id)
        print(url2)
        r = requests.get(url2, headers)
        r.encoding = 'utf-8'
        txt = r.text  #txt是双引号
        txt1 = json.loads(txt)
#         print(txt1)
        list_district_id = jsonpath(txt1, '$..Id')
        list_district_name = jsonpath(txt1, '$..Name')
#         print(list_district_id)
        print("市区名称：")
        print(list_district_name)
        list_num_district_id = list(int(x) for x in list_district_id)

        # 市区列表
        print("市区ID：")
        print(list_num_district_id)

        # Branch?p=110000&c=110100&b=110101&q=&t=1&z=0&i=0
        # 对市区循环
        # zip同时对id和name进行遍历，item2[0]表示选取参数中第0个的参数(id)，[1]就代表第二个参数(name)
        for item2 in zip(list_num_district_id, list_district_name):
            url3 = "https://app.abchina.com/branch/common/BranchService.svc/Branch?p=" + str(province_id) + "&c=" + str(district_id) + "&b=" + str(item2[0]) + "&q=&t=1&z=0&i=0"
            # print("url3="+url3)
            r = requests.get(url3, headers)
            r.encoding = 'utf-8'
            txt = r.text  #txt是双引号
            txt1= json.loads(txt)
            # 获取该市区的银行数量
            totalcount = jsonpath(txt1, '$.TotalCount')
            # 拼接市区名字和数量输出
            print(item2[1] + "_" + str(totalcount))
        # 市区循环完后，对地市+100，直到地市也循环完
        district_id = district_id + 100
    # 做一个延时，降低连续爬取对服务器的压力
    time.sleep(1)

 运行之后可以看到我们要的数据了。但是代码仍然是有问题的，当我们爬取到海南省的时候，会发现报错了，原因在地市循环的时候，有些地市实际上是空的。他的 b为-1。

 

 

这时候，我们就需要加一个判断，当它为空时就拼接-1，不为空就正常拼接.

import requests #网络请求
from bs4 import BeautifulSoup #页面解析
import pandas as pd #保存数据
import time
import json
from jsonpath import jsonpath

# import urllib
url = "https://app.abchina.com/branch/common/BranchService.svc/District"

headers = {
    "user-agent":
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36"
}
r = requests.get(url, headers)
r.encoding = 'utf-8'
txt = r.text  #txt是双引号
txt1 = json.loads(txt)
#     print(txt1)
list_province_id = jsonpath(txt1, '$..Id')
list_num_province_id = list(int(x) for x in list_province_id)
# 省市列表
print(list_num_province_id)

#对省市循环
for province_id in list_num_province_id:
    # 这里用来测试，
    # if(province_id < 460000 or province_id > 510000):
    #    continue
    url1 = "https://app.abchina.com/branch/common/BranchService.svc/District/" + str(
        province_id)
#         print(url1)
    r = requests.get(url1, headers)
    r.encoding = 'utf-8'
    txt = r.text  #txt是双引号
    txt1= json.loads(txt)
    print(txt1)
    list_city_id = jsonpath(txt1, '$..Id')
    print("地市id")
    list_num_city_id = list(int(x) for x in list_city_id)
    print(list_num_city_id)
    print("地市name")
    list_city_name = jsonpath(txt1, '$..Name')
    
    # 对地市循环
    for district in zip(list_num_city_id,list_city_name):
        district_id = district[0]
        district_name = district[1]
        url2 = "https://app.abchina.com/branch/common/BranchService.svc/District/any/" + str(
            district_id)
        #print("url2 = "+url2)
        r = requests.get(url2, headers)
        r.encoding = 'utf-8'
        txt = r.text  #txt是双引号
        txt1 = json.loads(txt)
        list_district_id = jsonpath(txt1, '$..Id')
        list_district_name = jsonpath(txt1, '$..Name')
        # 如果该地市为空（例如海南三沙市）
        if (list_district_id == False):
            b = -1
            url3 = "https://app.abchina.com/branch/common/BranchService.svc/Branch?p=" + str(
                province_id) + "&c=" + str(district_id) + "&b=" + str(
                    b) + "&q=&t=1&z=0&i=0"
            #print("url3="+url3)
            r = requests.get(url3, headers)
            r.encoding = 'utf-8'
            txt = r.text  #txt是双引号
            txt1 = json.loads(txt)
            totalcount = jsonpath(txt1, '$.TotalCount')
            this_city = jsonpath(txt1, '$...City')
            print(str(district_name) + str(this_city) + "_" + str(totalcount))
            district_id = district_id + 100
        else:
            print("市区名称：")
            print(list_district_name)
            list_num_district_id = list(int(x) for x in list_district_id)
            # 市区列表
            print("市区ID：")
            print(list_num_district_id)

            # Branch?p=110000&c=110100&b=110101&q=&t=1&z=0&i=0
            # 对市区循环
            # zip同时对id和name进行遍历
            for item2 in zip(list_num_district_id, list_district_name):
                url3 = "https://app.abchina.com/branch/common/BranchService.svc/Branch?p=" + str(province_id) + "&c=" + str(district_id) + "&b=" + str(item2[0]) + "&q=&t=1&z=0&i=0"
                print("url3="+url3)
                r = requests.get(url3, headers)
                r.encoding = 'utf-8'
                txt = r.text  #txt是双引号
                txt1= json.loads(txt)
                # 获取该市区的银行数量
                totalcount = jsonpath(txt1, '$.TotalCount')
                # 拼接市区名字和数量输出
                print(str(district_name) + "_" + item2[1] + "_" + str(totalcount))
            # 市区循环完后，对地市+100，直到地市也循环完
            district_id = district_id + 100
        # 做一个延时，降低连续爬取对服务器的压力
        time.sleep(1)

 至此，A银行的每一个地区的银行数量都爬取完毕。

================================分界线====================================

B银行

分析

实现

Alkaid_slc
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
3 | 爬取银行信息
微信号：RunsenLiu
05-28 1360
我们的爬虫将获取每一页的数据，并将这些数据保存到Excel文件中，以便进一步使用和分析。首先，我们需要导入所需的库，包括requests用于发起HTTP请求，BeautifulSoup用于解析HTML页面，以及openpyxl用于创建和保存Excel文件。这样，完成了爬取2023全国联行号开户行数据列表的教程。运行以上完整的代码，您将得到一个名为"data.xlsx"的Excel文件，其中包含了2023全国联行号开户行数据列表。现在，我们已经获取了需要的数据，接下来，我们将把数据保存到Excel文件中。
python爬取银行年报2
bboysteed的博客
12-22 4004
python爬取公司年报（巨潮资讯网）
爬取招行外汇网站数据.pdf
12-11
访问网站http://fx.cmbchina.com/hq/ 可以看到招商银行当天的外汇汇率， 本项目的任务是 编写一个爬虫程序爬取这些外汇的 数据并存储到数据库 。
使用Python网络爬虫抓取职位信息
Z987421的博客
10-17 927
大家好，我是皮皮。这篇文章主要盘点了一个Python网络爬虫的问题，文中针对该问题，给出了具体的解析和代码实现，帮助粉丝顺利解决了问题。【提问补充】温馨提示，大家在群里提问的时候。可以注意下面几点：如果涉及到大文件数据，可以数据脱敏后，发点demo数据来（小文件的意思），然后贴点代码（可以复制的那种），记得发报错截图（截全）。代码不多的话，直接发代码文字即可，代码超过50行这样的话，发个.py文件就行。我们准备了一门非常系统的爬虫课程，除了为你提供一条清晰、无痛的学习路径，我们甄选了最实用的学习资源以及。
Python网络爬虫 - 爬取中证网银行相关信息
cmdos的专栏
03-28 643
最终版：07_中证网（Plus -Pro）.py# coding=utf-8import requestsfrom bs4 import BeautifulSoupimport ioimport sysimport ossys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='gb18030') # 改变标准输出的默认编码for qq in range(8): # query = input("【中证网】请输入你想搜索的内容：") q
Python 统计各行业就业的学生数量，按数量从高到低方式输出
weixin_45659364的博客
03-16 9525
题目来源： 题目出自PTA 问题描述： 键盘输入某班各个同学就业的行业名称，行业名称之间用空格间隔(回车结束输入) 。统计各行业就业的学生数量，按数量从高到低方式输出 解决代码： 代码如下： names = input().split() ret = {} for s in names: ret[s] = ret.get(s,0)+1 ls = list(ret.items()) ls.sort(key=lambda x:x[1],reverse=True) for k
爬取中国银行外汇数据
qq_43275241的博客
06-16 3445
import requests import pandas as pd from bs4 import BeautifulSoup import time import csv #构建网页 def get_url(url): for i in range(2,3): url=“http://www.boc.cn/sourcedb/whpj/index_"+str(i)+".html” retu...
Python爬虫案例1：爬取淘宝网页数据
10-27
本案例将深入探讨如何使用Python编写一个爬虫程序来抓取淘宝网站上的商品信息，例如芒果、草莓和鸭舌帽等商品的数据。 首先，Python爬虫的核心是利用Python的requests库来发送HTTP请求，获取网页的HTML源代码。在这...
python爬虫案例，爬取文章标题简单示例
01-11
python爬虫案例 爬取文章标题简单示例
Python爬取猫眼电影票房数据公开爬虫源码案例.zip
04-30
python爬虫案例源码，python爬虫学习，python爬虫案例，python爬取在线网站数据，python爬取网站数据，python数据分析，数据获取，项目实战，python爬虫小例子，python爬虫代码示例，python爬虫简单示例，python爬虫...
Python-中国各地区各银行支行爬虫数据来源微信商户平台
08-12
中国各地区各银行支行爬虫，数据来源微信商户平台，已经整理可直接导入的sql文件
python爬虫20个案例
03-25
讲诉python爬虫的20个案例 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
用Python爬取高校导师主页信息_python爬虫_
09-29
在Python编程领域，爬虫是一项重要的技术，常用于数据挖掘和信息分析。本文将深入探讨如何使用Python爬取高校导师的主页信息，帮助学生或研究人员更有效地筛选和选择合适的指导老师。 首先，我们需要了解Python爬虫...
爬取金融数据的一个详细教程（结尾附完整代码）
lihaojiayou的博客
04-02 772
金融相关数据获取的详细教程，以及代码分享。
通过爬虫获取银行名称
原始新人类的专栏
07-08 1759
刚接触Python语言，在网上学习了一个教学视频，然后把视频中的代码敲了一遍，可运行 开发环境：Python 3.6.1  +  PyCharm 2017.1.4 Pycharm 下载地址： https://www.jetbrains.com/pycharm/download/#section=windows excel插件xlwt的安装方法： 1、在
【Python爬虫】使用Selenium爬取指定上市公司(如浦发银行)的今年公告信息
qq_31749135的博客
04-08 720
from selenium import webdriver#导入库 from selenium.webdriver.common.keys import Keys from bs4 import BeautifulSoup import csv,time import os,re import requests import selenium.webdriver.support.ui as ui import urllib chromeOptions = webdriver.ChromeOption.
python websocket爬虫_python爬虫----爬取阿里数据银行websocket接口
weixin_39722917的博客
11-30 2024
业务需求：爬取阿里品牌数据银行的自定义模块==>>>人群透视==>>>查看报告==>>数据最终获取页面： 页面获取情况如下： 绿色的就是我们需要模拟的请求，红色朝下的就是请求对应的数据，通过rid参数来找寻对应请求和数据，这个rid和时间戳很类似，没错这就是一个13位的时间戳，和随机数组合而成的：randomID = str(int(time.time()*1000))+str(self.coun...
python爬虫——怎么抓取职位信息
随便写写
06-13 2899
在进行职位信息爬取时，需要先确定目标网站，并通过分析页面结构和抓包等方式获取到页面 API 接口。接着，通过发送 HTTP 请求获取页面信息，并使用 BeautifulSoup 或正则表达式等工具解析页面获取所需信息。在整个爬取过程中，应该注意遵守法律法规和道德准则，避免侵犯他人隐私和抓取敏感信息等问题。同时，对于反爬机制的应对，可以采取一些策略，如降低访问频率、使用代理 IP、更换 User-Agent 、登陆账号、对抗反爬等方法。
大模型微调工具-torchtune
最新发布
weixin_40777649的博客
08-08 678
1.定义2.安装3. 案例。
python爬虫爬取一年中每个季度的数据
12-10
以下是使用Python爬虫爬取北京市2020年GDP每个季度数据的示例代码： ```python import requests from bs4 import BeautifulSoup url = 'http://tjj.beijing.gov.cn/tjsj_31433/yjdsj_31440/gdp_31750/2020/index.html' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 获取每个季度的数据所在的tr标签 quarter_trs = soup.find_all('tr', class_='m_bg1') # 遍历每个季度的tr标签，获取数据 for tr in quarter_trs: tds = tr.find_all('td') quarter = tds[0].text.strip() # 季度 gdp = tds[1].text.strip() # GDP print(quarter, gdp) ``` 解释一下代码： 首先，我们使用requests库向目标网站发送请求，并使用BeautifulSoup库解析响应的HTML文档。 然后，我们使用find_all()方法找到每个季度的数据所在的tr标签，并遍历每个tr标签，使用find_all()方法获取每个tr标签下的td标签，从而获取季度和GDP数据。 最后，我们将季度和GDP数据打印出来。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值