api 路况信息爬取

最新推荐文章于 2024-12-25 19:32:33 发布
最新推荐文章于 2024-12-25 19:32:33 发布
阅读量1.6k 收藏 10
点赞数 1
分类专栏： python进行时空数据处理及爬取 ARCGIS 文章标签： 百度api arcgis geopandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39805362/article/details/110946052
版权

看完了《地图时空大数据爬取》第五章，想着实践一下，于是我用义乌市的shp文件做了一下case实践了一下，没想到状况连出，我主要遇到了下述几个问题：

  1. arcpy无法导入，我使用的是arcmap10.7，按照网上的各种教程，比如在路径文件里加入arcpy的路径之类的，都不行，最后我在spyder里的搜寻路径中添加了arcpy文件的路径，倒确实能够成功把这个包import了，这说明spyder里添加搜索路径确实还是有用的，无法import的同志们可以试试，但是import过程中显示导入的代码又出错了，最后查来查去发现问题应该是由于安装的arcpy支持的是python2，但是我使用的是python3了，而且网上的方法都说是要删除重新装之类的，过于麻烦，所以索性不管那个arcpy了，直接用geopandas重写一遍代码实现功能好了。
  2. 第二个问题就有点致命了，这个api已经不再免费提供了，这就十分难受了，于是想着用百度地图api吧，但是百度api的返回信息极少，也不会返回道路的polyline信息，如果道路不堵的话也不会返回速度信息，但是至少能用，这里就用百度api做一个例子实践一下好了。
    在这里插入图片描述
    在这里插入图片描述
  3. 然后还遇到了一个小问题，也就是geopandas的CRS的问题，找到了一篇很好的博客，于是迎刃而解啦，这篇文章里有这个博客的链接。

首先是用arcgis做了栅格化，其实所有的都可以用geopandas实现，根本不需要用arcgis，只是当做练习一下而已了。然后后续都使用jupyter notebook实现了，代码如下：

'''
已经用arcmap得到栅格化后的义乌市范围,现在要得到每个栅格的左下角坐标,右上角坐标，以及质心的坐标。
当然其实全部使用python也可以，包括栅格化，以及坐标获取，而且用python来做还更好一点，但是反正是练习，顺便练习下arcgis了。
'''

import geopandas as gpd
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 读取shp文件
gdf = gpd.GeoDataFrame.from_file('.\\fishnetPro\\fishnet_select.shp')
gdf.plot()

在这里插入图片描述

gdf.head(5)
IdBLXBLYURXURYgeometry
00NoneNoneNoneNonePOLYGON ((119.95605 29.03706, 119.95605 29.047...
10NoneNoneNoneNonePOLYGON ((119.96388 29.03706, 119.96388 29.047...
20NoneNoneNoneNonePOLYGON ((119.97172 29.03706, 119.97172 29.047...
30NoneNoneNoneNonePOLYGON ((119.97955 29.03706, 119.97955 29.047...
40NoneNoneNoneNonePOLYGON ((119.88554 29.04735, 119.88554 29.057...
# 将每个栅格的左下角顶点坐标，右上角顶点坐标赋值给fields
for i in range(len(gdf)):
    gdf.iloc[i,1],gdf.iloc[i,2],gdf.iloc[i,3],gdf.iloc[i,4] = gdf.iloc[i,5].bounds
gdf.head(5)
IdBLXBLYURXURYgeometry
00119.95629.0371119.96429.0474POLYGON ((119.95605 29.03706, 119.95605 29.047...
10119.96429.0371119.97229.0474POLYGON ((119.96388 29.03706, 119.96388 29.047...
20119.97229.0371119.9829.0474POLYGON ((119.97172 29.03706, 119.97172 29.047...
30119.9829.0371119.98729.0474POLYGON ((119.97955 29.03706, 119.97955 29.047...
40119.88629.0474119.89329.0576POLYGON ((119.88554 29.04735, 119.88554 29.057...
# 计算得到每个栅格质心点的坐标，并保存在新建的字段里面
gdf['centerX'] = gdf.centroid.bounds.iloc[:,[0]]
gdf['centerY'] = gdf.centroid.bounds.iloc[:,[1]]
gdf.head(5)

E:\Anaconda\lib\site-packages\ipykernel_launcher.py:2: UserWarning: Geometry is in a geographic CRS. Results from 'centroid' are likely incorrect. Use 'GeoSeries.to_crs()' to re-project geometries to a projected CRS before this operation.

  
E:\Anaconda\lib\site-packages\ipykernel_launcher.py:3: UserWarning: Geometry is in a geographic CRS. Results from 'centroid' are likely incorrect. Use 'GeoSeries.to_crs()' to re-project geometries to a projected CRS before this operation.

  This is separate from the ipykernel package so we can avoid doing imports until
IdBLXBLYURXURYgeometrycenterXcenterY
00119.95629.0371119.96429.0474POLYGON ((119.95605 29.03706, 119.95605 29.047...119.95996829.042208
10119.96429.0371119.97229.0474POLYGON ((119.96388 29.03706, 119.96388 29.047...119.96780229.042208
20119.97229.0371119.9829.0474POLYGON ((119.97172 29.03706, 119.97172 29.047...119.97563629.042208
30119.9829.0371119.98729.0474POLYGON ((119.97955 29.03706, 119.97955 29.047...119.98347029.042208
40119.88629.0474119.89329.0576POLYGON ((119.88554 29.04735, 119.88554 29.057...119.88946029.052496
import basics
import json
import os
from urllib import request 
import imp
imp.reload(basics)
'''
定义采集所有区域道路交通态势数据的函数，这也是实现本notebook功能的核心函数
'''
def getRoad(ak,bottemLeft,upRight,centerPoint):
    url="http://api.map.baidu.com/traffic/v1/bound?ak="+ak+"&bounds="+bottemLeft+";"+upRight+\
        "&coord_type_input=wgs84&coord_type_output=gcj02"
    print(url)
    json_obj=request.urlopen(url)
    mydata=json.load(json_obj)
    if mydata['status']== 0:
        try:
            centerPoint.status = mydata['evaluation']['status']
            centerPoint.description = mydata['description']
        except Exception as e:
            centerPoint.status = 1
            centerPoint.description = "畅通"
    else:
        print(mydata['message'])
        centerPoint.status=0
        centerPoint.description = "Unknown"
    return centerPoint

import imp
imp.reload(basics)
# 测试一下上面cell写的函数是否正确，能否抓取出每个栅格的整体路况
ak=自己去申请一个ak
bottemLeft=str(gdf.iloc[600,2])+','+str(gdf.iloc[600,1]) ;upRight=str(gdf.iloc[600,4])+','+str(gdf.iloc[600,3])
centerPoint=basics.PointWithAttr(0, gdf.iloc[600,6], gdf.iloc[600,7],None,None)
res = getRoad(ak,bottemLeft,upRight,centerPoint)
res.description

# 抓取整个义乌各个栅格的路况
ak=自己去申请一个ak
gdf['status'] = None
for i in range(len(gdf)):
    bottemLeft=str(gdf.iloc[i,2])+','+str(gdf.iloc[i,1]) ;upRight=str(gdf.iloc[i,4])+','+str(gdf.iloc[i,3])
    centerPoint=basics.PointWithAttr(0, gdf.iloc[i,6], gdf.iloc[i,7],None,None)
    tmp = getRoad(ak,bottemLeft,upRight,centerPoint)
    gdf.iloc[i,-1] = tmp.status
gdf.head(5)

在这里插入图片描述
0和1都是畅通，2是
0和1我个人认为都是畅通，未知道路的话一般肯定是车很少的路，上图因为是晚上9点爬的数据，所以基本没有拥堵和严重拥堵。

参考文献

百度地图api
高德地图api
地图时空大数据爬取

交通态势实验报告
S200142的博客
11-09 1658
在可视化分析中，我主要将数据进行了分级处理，再进行数据统计，因为再韶关虽然有一定的拥堵路段，但是畅通路段还是占大多数的。通过获取韶关市中心的路网交通态势数据，再经过可视化，可以窥探出韶关道路交通的情况。主要拥堵发生在三江汇聚的桥前，桥后，以及老城区附近。现韶关发展已经逐渐扩大至三江外围，和芙蓉山外侧。芙蓉离韶关市区相对较近，所以韶关要继续发展，必须跨过芙蓉山，如今已有几条芙蓉山隧道。韶关北边距离较远处也被武江环绕，所以越往后发展，越要突破江流的交通限制。
python爬取路况信息_高德实时路况数据获取
weixin_39997037的博客
12-03 2162
高德实时路况数据获取接口说明：link高德数据获取流程数据库设计CREATE TABLE "public"."gaode_date" ("name" varchar(50) COLLATE "default","status" int4,"direction" varchar(50) COLLATE "default","angle" int4,"lcodes" varchar(255) COLL...
爬取某块区域的实时交通态势数据，并存入mysql数据库
11-28
爬取某块区域的实时交通态势数据，并存入mysql数据库；替换代码中的坐标，换成自己想要爬取的地区坐标
[Python & 百度地图] WEB服务API调用爬虫实时交通态势
weixin_46425954的博客
08-18 4014
import pandas as pd import requests key = 'xxx' #百度地图自己申请的key radius = 200 #查询半径 #制作表头 road_information_head = [['status','description','tra_status','status_desc','road_traffic']] #保存已解析好的表 save_path = "交通态势.csv" df = pd.DataFrame(road_information_head) d
Arcgis js for javascript调用百度，高德实时路况服务
倚栏听风
06-24 1123
一.离线部署Arcgis js for javascript 按照如下路径存放。 二.在VScode里按照如下目录结构创建demo，放入框框里的文件就可以了 三.安装Live Server插件到VScode 四.写BDVecLayer.js define(["dojo/_base/declare", "esri/layers/TiledMapServiceLaye...
geopandas面积计算及投影
WenbinYao&YouweiHu
12-09 4654
今天对某市进行了栅格，想看下栅格的面积，然后直接用geopandas.area进行查看，但是发现计算出来的面积不对，jupyter弹出了警告信息： E:\Anaconda\lib\site-packages\ipykernel_launcher.py:1: UserWarning: Geometry is in a geographic CRS. Results from ‘area’ are likely incorrect. Use ‘GeoSeries.to_crs()’ to re-project
基于python的高德地图实时路况信息爬取分析.zip
10-16
在本项目"基于python的高德地图实时路况信息爬取分析"中，我们将探讨如何利用Python编程语言来抓取并分析高德地图的实时路况信息。这个过程涉及到网络爬虫技术、数据分析以及可视化等多个IT领域的知识。以下是相关...
基于百度地图的路况数据爬取程序
10-24
道路路况数据爬取，可以获取道路的拥堵时长，拥堵程度和运行速度等参数。
百度地图实时路况数据爬取
热门推荐
m0_57409970的博客
07-08 1万+
在这里插入代码片@TOC 百度地图实时路况数据爬取 最近为了参加“华为杯”数学建模的国赛，学校组织了一次校内选拔，题目要求收集不同时段的交通方面数据，建立评价体系，并对整体交通划线效果给出相应评价，看到题目我就方了，这个交通数据怎么拿？？？！！！包括获取数据到建模结束总共三天时间，这不是为难我们？？？ 于是我就各种网上找爬取交通实时数据的代码，终于我给找到了一篇爬取高德地图的代码，在我按照博主的步骤走的差不多的时候，结果等到爬的时候发现，高德地图的API早在几年前就已经不免费开放了，这个时候已经过去一个上午
Geocomputation （6）重新投影地理数据
May the Force be with you
06-29 637
sec-coordinate-reference-systems 引入了坐标参考系统（CRS），重点关注两种主要类型：地理（“经度/纬度”，单位为经度和纬度）和投影（通常以米为单位） 基准）坐标系。本章以这些知识为基础并进行了更深入的探讨。它演示了如何设置地理数据并将其从一种 CRS 转换为另一种 CRS，此外，还强调了您应该注意的由于忽略 CRS 而可能出现的特定问题，特别是当您的数据使用经度/纬度坐标存储时。在许多项目中，无需担心不同的 CRS，更不用说在不同的 CRS 之间进行转换。
使用GeoPandas进行地理空间数据处理：入门指南
萧鼎的博客
12-25 1196
GeoPandas 是一个基于 Pandas 和 Shapely 的 Python 库，专为地理空间数据处理设计。它扩展了 Pandas 的功能，使用户可以轻松处理地理数据，如矢量数据（点、线、多边形）和空间操作（如叠加、缓冲等）。GeoPandas 以其简洁的 API 和强大的功能，大大降低了地理空间数据处理的门槛。无论是初学者还是专业 GIS 从业者，GeoPandas 都是一个值得深入学习的工具。如果您对 GeoPandas 感兴趣，可以通过本文所述的案例和场景开始实践！
arcgis python添加几何属性
Work_Hard_GO的博客
06-21 701
import arcpy import numpy import math def AddGeometryAttributes(fc, geomProperties, lUnit, aUnit, cs): """------------------------------------------------------------------------- Tool: Add Geometry Attributes (Data Management Tools)...
python poi爬取
WenbinYao&YouweiHu
11-14 2544
最近，越来越多开始用python处理空间数据了。 看了B站小旭学长的视频，看了下geopandas的官方文档基本对这个入门了，其实就是用python实现gis的一些功能而已，然后数据结构稍微变了下。实名推荐小旭学长的视频，入门很好哇，而且里面的方法真的可以直接用在科研里面，很棒，很感谢。 之后也会写几个python处理空间数据的文章，不过今天主要是记录下python爬取poi的。我看的书是东南大学秦艺帆、石飞的《地图时空大数据爬取与规划分析教程》，代码也是书里的，我打了下，确认可以跑通。 ...
python 几何库_Shapely地理空间几何库，使用手册（英）
weixin_39726044的博客
12-08 1752
The Shapely User ManualAuthor:Version:1.2 and 1.3Date:December 31, 2013Abstract:This document explains how to use the Shapely Python package for computational geometry.IntroductionDeterministic spatia...
坐标系Geometry CRS
qq_43259860的博客
11-19 1159
依赖 <dependencies> <dependency> <groupId>org.geotools</groupId> <artifactId>gt-shapefile</artifactId> <version>${geotools.version}</version> </dependency&
GeoPandas入门 | 04-空间连接
酱肉包GIS
08-15 1435
04-空间连接 源代码 请看此处 ...
Geometry（几何对象定义空间位置和关联几何形状）
诚的博客
12-15 6477
Geometry 描述 几何对象定义空间位置和关联几何形状。 讨论 在许多地理处理工作流中，您可能需要使用坐标和几何信息运行特定操作，但不一定想经历创建新（临时）要素类、使用光标填充要素类、使用要素类，然后删除临时要素类的过程。可以使用几何对象替代输入和输出，从而使地理处理变得更简单。使用Geometry、Multipoint、PointGeometry、Polygon或Polyline类可以从头开始创建几何对象。 语法 Geometry (geometry, inputs, {s...
高德实时路况数据爬取
最新发布
02-25
### 获取高德地图实时路况数据 对于获取高德地图的实时路况数据，可以通过调用高德开放平台提供的API接口实现这一目标。具体来说，使用Python编写脚本来发送HTTP请求至指定URL并解析返回的数据即可完成操作[^1]。 #### 准备工作 - 注册成为开发者账号，并申请相应的Web服务API Key。 - 安装必要的库文件如`requests`用于发起网络请求以及处理JSON响应内容。 #### 编写代码逻辑 下面展示一段简单的Python程序用来抓取特定区域内的交通状况： ```python import requests from urllib.parse import urlencode def fetch_traffic_status(api_key, bounding_box): """ Fetch traffic status from AMap API. :param api_key: Your personal AMap Web Service API key :type api_key: str :param bounding_box: The geographical area defined by two points (longitude and latitude), formatted as "minLon,minLat;maxLon,maxLat" :type bounding_box: str :return: Parsed JSON response containing traffic information :rtype: dict """ base_url = 'https://restapi.amap.com/v3/traffic/status' params = { 'key': api_key, 'extensions': 'all', 'bbox': bounding_box } full_url = f"{base_url}?{urlencode(params)}" resp = requests.get(full_url) if resp.status_code != 200: raise Exception(f"Failed to retrieve data with error code {resp.status_code}") json_result = resp.json() # Check the service call was successful if json_result['infocode'] != '10000': raise ValueError('AMAP request failed') return json_result ``` 此函数接受两个参数：一个是之前获得的应用密钥；另一个是指定查询范围的矩形框坐标串（经度最小值,纬度最小值;经度最大值,纬度最大值）。它会构建完整的访问链接并向服务器发出GET请求，最后将接收到的结果转换成易于理解的形式返回给调用者[^3]。 需要注意的是，在实际开发过程中应当妥善保管好个人凭证信息，避免泄露造成不必要的损失。同时也要遵循官方文档中的配额限制和其他规定[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值