Python + Postgresql + PostGIS爬虫获取某地图POI数据

 

1. 作者声明

项目纯属学习娱乐,不用于任何商业盈利模式,首先对地图平台道一声对不起,未经容许,擅自爬取数据。

2. 项目介绍

2.1. 项目技术

2.1.1. python3.7安装以及pip工具安装

https://www.python.org/

2.1.2. urllib3网络请求包安装(爬虫需要)

https://pypi.org/search/

pip install urllib3

2.1.3. postgresql数据库安装(如需要空间数据编辑,自行安装postgis)

https://www.postgresql.org/download/

http://postgis.net/install/

2.1.4. 数据库连接池包

(1)数据库初始化配置Database,安装包psycopg2

pip install psycopg2

https://blog.csdn.net/weixin_40547993/article/details/90756631 

(2)数据库连接池包安装

pip install DBUtils

2.2. 项目功能与部分源码分析

2.2.1.  pg库数据库连接池配置

 (1)数据库初始化和池化参数

# postgresql
db = {
    'dbDriver': {
        'user': 'postgres',
        'password': 'postgres',
        'host': 'localhost',
        'port': 5432,
        'dbname': 'postgres',
        'application_name': 'bmapdata'
    },

    'poolDB': {
        # 连接池允许的最大连接数,0和None表示没有限制
        'maxconnections': 100,
        # 初始化时,连接池至少创建的空闲连接,0表示不创建
        'mincached': 2,
        # 连接池中空闲的最多连接数,0和None表示没有限制
        'maxcached': 5,
        # 连接池中最多共享的连接数量,0和None表示全部共享
        'maxshared': 20,
        # 连接池中如果没有可用共享连接后,是否阻塞等待,True表示等等,
        # False表示不等待然后报错
        'blocking': True
    }

}

 (2)数据库连接池和初始化配置

import psycopg2
import importlib
import logger
import sys
from DBUtils.PooledDB import PooledDB
from DBUtils.PersistentDB import PersistentDB, PersistentDBError, NotSupportedError

sys.path.append(sys.path[0] + '/../')

# db class


class DataBase:
    # init
    def __init__(self, match):
        try:
            dbParms = importlib.import_module('config.dataSource').db
            self.poolDB = PooledDB(
                # 指定数据库连接驱动
                creator=psycopg2,
                # 连接池允许的最大连接数,0和None表示没有限制
                maxconnections=5,
                # 初始化时,连接池至少创建的空闲连接,0表示不创建
                mincached=2,
                # 连接池中空闲的最多连接数,0和None表示没有限制
                maxcached=5,
                # 连接池中最多共享的连接数量,0和None表示全部共享(其实没什么卵用)
                maxshared=3,
                # 连接池中如果没有可用共享连接后,是否阻塞等待,True表示等等,
                # False表示不等待然后报错
                blocking=True,
                # 开始会话前执行的命令列表
                setsession=[],
                # ping Mysql服务器检查服务是否可用
                ping=0,
                **dbParms['dbDriver']
            )
            self.connection = self.poolDB.connection()
            self.cursor = self.connection.cursor()
            self.schema = match["schema"]
            self.tableName = match["tableName"]
        except Exception as e:
            logger.error('数据库连接错误:%s' % e)
            raise

    # 取单条数据
    def query(self, sql, data):
        cur = self.cursor
        cur.execute(sql, data)
        return cur.fetchone()

    def insert(self, sql, datas):
        conn = self.connection
        try:
            cur = self.cursor
            # 执行sql语句
            cur.executemany(
                sql, datas)
            # 提交到数据库执行
            conn.commit()
            print("数据新增成功")
        except Exception as e:
            # 如果发生错误则回滚
            conn.rollback()
            logger.error('数据新增失败:%s' % e)

    def update(self, sql, datas):
        conn = self.connection
        try:
            cur = self.cursor
            # 执行sql语句
            cur.executemany(
                sql, datas)
            # 提交到数据库执行
            conn.commit()
            print("数据更新成功")
        except Exception as e:
            # 如果发生错误则回滚
            conn.rollback()
            logger.error('数据更新失败:%s' % e)

    def delete(self, sql):
        self.transact(sql)

    def transact(self, sql):
        conn = self.connection
        try:
            cur = self.cursor
            # 执行sql语句
            cur.execute(sql)
            # 提交到数据库执行
            conn.commit()
        except:
            # 如果发生错误则回滚
            conn.rollback()

2.2.2. 爬虫请求封装

import urllib3
import json


class Urllib3Request:
    def __init__(self):
        self.http = urllib3.PoolManager()

    # get
    def urllib3Get(self, url, param):
        req = self.http.request(
            'GET',
            url,
            fields=param)

        if req.status == 200:
            data = json.loads(req.data.decode('utf-8'))
            return data
        return {}

2.2.3. 多线程数据爬取处理

import threading
import time

threadLock = threading.Lock()


class Thread (threading.Thread):
    def __init__(self, threadId, name, delay, customRun):
        threading.Thread.__init__(self)
        # 线程ID
        self.threadId = threadId
        # 线程名称
        self.name = name
        # 延迟时间
        self.delay = delay
        # 执行函数
        self.customRun = customRun

    def run(self):
        print("Starting " + self.name)
        # 获得锁,成功获得锁定后返回True
        # 可选的timeout参数不填时将一直阻塞直到获得锁定
        # 否则超时后将返回False
        threadLock.acquire()
        self.customRun(self.name, self.delay)
        # 释放锁
        threadLock.release()
        print("Exiting " + self.name)


if __name__ == "__main__":
    poiTypeThreadsList = ['美食', '酒店', '购物', '生活服务',
                          '丽人', '旅游景点', '休闲娱乐', '运动健身',
                          '教育培训', '文化传媒', '医疗', '汽车服务',
                          '交通设施', '金融', '房地产', '公司企业',
                          '政府机构', '出入口', '自然地物']
    for value in poiTypeThreadsList:
        thread = Thread(poiTypeThreadsList.index(value), value,0,customRun)
        thread.start()

    print("Exiting Main Thread")

2.2.4. 数据入库

(1)爬虫数据格式转换

(2)数据库表实体类封装


# POI实体类


class POIEntity:
    def __init__(self, result):
        self.uid = result["uid"] if "uid" in result else None
        self.name = result["name"] if "name" in result else None
        self.address = result["address"] if "address" in result else None
        self.province = result["province"] if "province" in result else None
        self.city = result["city"] if "city" in result else None
        self.area = result["area"] if "area" in result else None
        self.street_id = result["street_id"] if "street_id" in result else None
        self.tag = result["detail_info"]["tag"] if "detail_info" in result and "tag" in result["detail_info"] else None
        self.type = result["detail_info"]["type"] if "detail_info" in result and "type" in result["detail_info"] else None
        self.detail_url = result["detail_info"]["detail_url"] if "detail_info" in result and "detail_url" in result["detail_info"] else None
        self.telephone = result["telephone"] if "telephone" in result else None
        self.lng = result["location"]["lng"] if "location" in result and "lng" in result["location"] else None
        self.lat = result["location"]["lat"] if "location" in result and "lat" in result["location"] else None

(3)数据入库

数据新增,判断是否已有,已有数据进行更新操作,否则新增

数据效果图

3. 地图展示(无奈,暂时没有配图配色)

QGIS简易效果图展示

4. 项目源码地址

https://github.com/yangdengxian/BMapData

5. 著作权声明

本博文属博主原创,如需参考或者转载,注明缘由,创作不易,多多支持与谅解,也希望广大技术人员相互探讨

  • 0
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要搭建PostgreSQL PostGIS空间数据引擎,需按照以下步骤进行操作。 首先,确保已经安装了PostgreSQL数据库服务器。可以从官方网站上下载并安装最新版本的PostgreSQL。 完成安装后,打开命令行终端并切换到PostgreSQL的安装目录下的bin文件夹。在命令行中输入以下命令来启动PostgreSQL: ``` pg_ctl -D 数据库存储路径 start ``` 数据库存储路径是指定数据库文件将保存的目录路径。将其替换为你想要使用的路径。 启动后,会在命令行中显示一些数据库连接信息,包括端口号和数据库用户名等。 接下来,需要创建一个新的数据库。在命令行中输入以下命令: ``` createdb -U 数据库用户名 -h localhost -p 端口号 新数据库名称 ``` 将数据库用户名、端口号和新数据库名称替换为真实值。 创建数据库后,需要在其中安装PostGIS扩展。在命令行中输入以下命令来连接到新数据库: ``` psql -U 数据库用户名 -h localhost -p 端口号 新数据库名称 ``` 进入数据库后,运行以下命令来创建PostGIS扩展: ``` CREATE EXTENSION postgis; ``` 该命令将在数据库中创建PostGIS所需的表和函数。安装完成后,就可以在数据库中存储和查询空间数据了。 最后,可以使用数据库管理工具,如pgAdmin等,连接到数据库进行操作和管理。可以使用这些工具来创建数据表、导入和导出空间数据,以及执行空间查询等操作。 总结一下,搭建PostgreSQL PostGIS空间数据引擎的主要步骤是:安装PostgreSQL,启动数据库服务器,创建新数据库,安装PostGIS扩展,然后使用数据库管理工具进行操作和管理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值