爬虫系列之地图文件的爬取与拼接

偶然看到一个需求，兴致勃勃就开干。

于是我打开了网站: http://pnr.sz.gov.cn/ywzy/qt/bddj/.

地图长这个样子
于是我打开了控制台，发现地图本来是长的这个样子

链接: https://pnr.sz.gov.cn/d-suplicmap/tileszmap_1/rest/services/SZMAP_BASEMAP_GKDL/MapServer/tile/1/735/385.

打开长这个样子
不难发现，图片基本格式为：https://pnr.sz.gov.cn/d-suplicmap/tileszmap_1/rest/services/SZMAP_BASEMAP_GKDL/MapServer/tile/data-zoom/横坐标/纵坐标

我们只需要替换data-zoom/横坐标/纵坐标就可以下载地图图片，然后把它拼接到一起就大功告成了

于是我们需要找到地图的横坐标和纵坐标

不难发现，0，1，2，3就是是data-zoom，我先用3倍的来试试水

于是我打开pycharm开始爬取我需要的图片

import urllib.request

Y = list(range(1468,1476))
X = list(range(768,781))
x=X[0]
y=Y[0]
num=0
while(x<X[-1]):
   while(y<Y[-1]):
       num=num+1
       url = 'https://pnr.sz.gov.cn/d-suplicmap/tileszmap_1/rest/services/SZMAP_BASEMAP_GKDL/MapServer/tile/3/'+str(y)+'/'+str(x)
       HEADERS = {
       'Referer':'http://pnr.sz.gov.cn/ywzy/qt/bddj/',
       'Sec-Fetch-Dest':'iframe',
       'Upgrade-Insecure-Requests':'1',
       'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36',
       }
       request = urllib.request.Request(url, headers=HEADERS)
       r_response = urllib.request.urlopen(request)
       r=r_response.read()
       with open('G:\\map\\'+str(y)+'_'+str(x)+'.jpg', 'wb') as f:
           f.write(r)
           print('第'+str(num)+'幅')
       y=y+1
   x=x+1
   y=Y[0]

图片到此就下载好了

开始拼接

import PIL.Image as Image
import os

IMAGES_PATH = 'G:\map\\'  # 图片地址
IMAGES_FORMAT = ['.jpg', '.JPG']  # 图片格式
IMAGE_SIZE = 256  # 图片大小   
IMAGE_ROW =  7 # YMAX-YMIN
IMAGE_COLUMN = 12  # XMAX-XMIN
IMAGE_SAVE_PATH = 'G:\\map\\final.jpg'  # 图片转换后保存的地址

# 获取图片集地址下的所有图片名称
image_names = [name for name in os.listdir(IMAGES_PATH) for item in IMAGES_FORMAT if
               os.path.splitext(name)[1] == item]

# 简单的对于参数的设定和实际图片集的大小进行数量判断
if len(image_names) != IMAGE_ROW * IMAGE_COLUMN:
    raise ValueError("合成图片的参数和要求的数量不能匹配！")


# 定义图像拼接函数
def image_compose():
    to_image = Image.new('RGB', (IMAGE_COLUMN * IMAGE_SIZE, IMAGE_ROW * IMAGE_SIZE))  # 创建一个新图
    # 循环遍历，把每张图片按顺序粘贴到对应位置上
    for y in range(1, IMAGE_ROW + 1):
        for x in range(1, IMAGE_COLUMN + 1):
            from_image = Image.open(IMAGES_PATH + image_names[IMAGE_COLUMN * (y - 1) + x - 1]).resize(
                (IMAGE_SIZE, IMAGE_SIZE), Image.ANTIALIAS)
            to_image.paste(from_image, ((x - 1) * IMAGE_SIZE, (y - 1) * IMAGE_SIZE))
    return to_image.save(IMAGE_SAVE_PATH)  # 保存新图


image_compose()  # 调用函数

完成