![](https://img-blog.csdnimg.cn/20201115092915261.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
python进行时空数据处理及爬取
文章平均质量分 73
使用python进行时空大数据处理
WenbinYao&YouweiHu
两个人一起坚持、学习、进步
展开
-
mac上安装anaconda及geopandas
公司电脑是mac,需要使用geopandas,因此需要先装anaconda,整整搞了一天半,mac上遇到的问题比windows还多,太烦人了,接下来记录一下。1.遇到的问题1.1安装anaconda遇到的问题及解决措施下载了官网最新的anaconda,python3.9,当时系统是mac11.x,具体是多少有点忘了。安装后,无法打开anaconda,命令行conda有效,说明是安装成功了,也可以直接打开jupyter notebook,且能正常执行命令,但是速度很慢,有点卡。于是使用官网所有的解决办原创 2022-01-29 11:58:01 · 2436 阅读 · 5 评论 -
OSMnx包的使用
osmnx的介绍与使用原创 2021-12-30 16:38:40 · 8558 阅读 · 38 评论 -
根据起始点经纬度、距离、方位角计算目标点经纬度的方法
主要目的:在处理卡口数据的过程中,遇到了一个问题:对于每个交叉口只知道其中心点的经纬度,而不知道每个进口道停车线的经纬度,对不同的进口道,难以将轨迹数据分开处理。因此,采用了一种简化的方法,假设了每个交叉口中心点到每个停车线的距离为m米,根据相邻的两个交叉口中心经纬度,计算了路段方位角,进而根据交叉口中心点到每个停车线的距离、路段走向方位角、路段中心店经纬度这三个信息,计算出了每个进口道停车线的经纬度。其中用到的代码如下:1.根据起始点经纬度、目标点经纬度计算它们之间的方位角def calc_azi原创 2021-08-01 21:07:08 · 8617 阅读 · 0 评论 -
03空间计量基础模型之SLX,SAR,SEM
这两天刚好有些时间,于是跑了一些空间计量模型作为实战练习,使用的包是pysal,原教程点击该链接,主要是阐述了空间异质性、空间依赖的含义以及SLX,SAR,SEM这三个空间计量基本模型,其他的许多变体其实也就是这三个模型的两两结合或三个结合在一起。在本博客中不再阐述空间异质性和空间依赖了,只讲如何用pysal实现SLX,SAR,SEM这三个基本模型,希望了解全部内容的可以看原教程。此外,pysal这个包最好是要更新到最新版,要不然本博客代码跑起来会有bug。1.数据情况及OLS回归The Data: S原创 2021-07-01 10:24:49 · 7570 阅读 · 6 评论 -
02pysal距离权重矩阵
距离权重矩阵主要是借助距离来构建权重矩阵。import numpy as npimport pysal as psimport libpysal as lpsimport geopandas as gpd1.1k最近邻二元权重需要指定最近邻居个数,默认值为2,p是距离度量的方幂次数,默认值是2,即欧几里得距离,idVariable是点变量的编号,必须包含dbf文件并且与shape文件一致;radius:地球半径,在使用经纬度计算时起作用wk1 = ps.knnW_from_shapefile原创 2021-06-06 19:24:11 · 1261 阅读 · 0 评论 -
01数据整理及邻接权重矩阵构建
最近看完了空间计量经济学的理论部分,因此打算开始学习一下实战,实战所使用的主要是GEODA家族的软件包们,首先还是打算先学习python的pysal包,毕竟还是更喜欢代码,而且相较于GEODA和GEODASPACE,写代码还是会更灵活一点。这一部分也打算写一个系列,这是第一块,数据读取及预处理,以及权重矩阵的一些知识和代码,这个系列主要侧重于代码,理论的话基本就不涉及啦,需要的可以学习下沈体雁,于瀚辰老师写的《空间计量经济学》。主要是借助《空间计量分析软件》一本书来学习,书中的pysal的版本应该是1.x的原创 2021-06-02 19:46:51 · 2448 阅读 · 1 评论 -
经纬度保留到不同小数位对应的精度
我们发现现有数据由于保密性的问题,只能拿到精确到三位小数的经纬度数据,因此想看一看经纬度保留到不同小数位对应的精度分别是什么样的。纬度不变,经度保留位数每相差1的情况:1.精确到小数点后第六位经纬度被保留为:(124.444444,24.444444)(124.444445,24.444444),它们之间的距离为:0.1012277412m。y因此,保留到小数点后第六位带来的误差为0.1m级别的误差。2.精确到小数点后第五位经纬度被保留为:(124.44444,24.44444)(124.4444原创 2021-05-27 15:34:15 · 41205 阅读 · 5 评论 -
python 高德poi 公交路径规划数据获取
《地图时空大数据爬取》一书第9章,动态交通出行数据采集。实现的功能是给定一系列的出发点,给定一系列的目的地点,给定时间日期。利用高德api采集任意一个起点和终点间的公交出行数据,包括距离、出行时间、步行距离、步行时间、公交车内时间、距离、行程总费用等等,最为关键的是连路径的polyline都能采集下来,所以采集信息十分丰富,代码我放在github里,点击这里传送。...原创 2020-12-28 16:44:09 · 1591 阅读 · 0 评论 -
python 公园、绿地、饭店等任何一种poi类型信息数据的爬取
利用百度或高德的api接口,是无法获得这些poi点的详细信息数据的,只能获得poi的经纬度和类型,还有名字,但是这个poi的面积,形状具体是咋样的,我们是无法得知的,百度或高德的api接口没有给出这个信息。《地图时空大数据爬取》一书上第6章后半部分给出一个爬虫的代码,但是这个代码现在已经不行了,网上说好像是因为高德网站更新过了,反爬性能变强了,以后直接用request,urllib等来爬是无法成功的。而且我尝试了更改ip,更改浏览器伪装信息user-agent等都无法成功,最后还使得我电脑无法用高德进行查询原创 2020-12-17 15:38:28 · 4409 阅读 · 2 评论 -
python 抓取行政区划
这是《地图时空大数据爬取》第6章的内容,这篇博客主要是抓取一下行政区划数据,最小是能抓到区县的行政区划数据。然后书里是用arcpy和arcgis再加上python一起来处理的,有些麻烦,我统一用python来处理了,改写了下代码,因为很简单,就不多说了,直接放代码。import basicsimport geopandas as gpdimport pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport jsoni原创 2020-12-15 16:06:12 · 1669 阅读 · 4 评论 -
api 路况信息爬取
看完了《地图时空大数据爬取》第五章,想着实践一下,于是我用义乌市的shp文件做了一下case实践了一下,没想到状况连出,我主要遇到了下述几个问题:arcpy无法导入,我使用的是arcmap10.7,按照网上的各种教程,比如在路径文件里加入arcpy的路径之类的,都不行,最后我在spyder里的搜寻路径中添加了arcpy文件的路径,倒确实能够成功把这个包import了,这说明spyder里添加搜索路径确实还是有用的,无法import的同志们可以试试,但是import过程中显示导入的代码又出错了,最后查来查原创 2020-12-10 09:51:42 · 1436 阅读 · 0 评论 -
geopandas面积计算及投影
今天对某市进行了栅格,想看下栅格的面积,然后直接用geopandas.area进行查看,但是发现计算出来的面积不对,jupyter弹出了警告信息:E:\Anaconda\lib\site-packages\ipykernel_launcher.py:1: UserWarning: Geometry is in a geographic CRS. Results from ‘area’ are likely incorrect. Use ‘GeoSeries.to_crs()’ to re-project转载 2020-12-09 21:13:26 · 4010 阅读 · 0 评论 -
python poi爬取
最近,越来越多开始用python处理空间数据了。看了B站小旭学长的视频,看了下geopandas的官方文档基本对这个入门了,其实就是用python实现gis的一些功能而已,然后数据结构稍微变了下。实名推荐小旭学长的视频,入门很好哇,而且里面的方法真的可以直接用在科研里面,很棒,很感谢。之后也会写几个python处理空间数据的文章,不过今天主要是记录下python爬取poi的。我看的书是东南大学秦艺帆、石飞的《地图时空大数据爬取与规划分析教程》,代码也是书里的,我打了下,确认可以跑通。...原创 2020-11-14 11:10:17 · 2360 阅读 · 25 评论 -
杭州市卡口数据分析常用代码1
由于经常要使用,又总是找不到,因此在此做一个记录。车辆牌照筛选的正则表达式代码:(REGEXP_LIKE(CAR_NUM,'浙A.1[A-Z][A-Z][A-Z]') OR REGEXP_LIKE(CAR_NUM,'浙A..1[A-Z][A-Z]') OR REGEXP_LIKE(CAR_NUM,'浙A...1[A-Z]') Or CAR_NUM like '%浙A____1%'...原创 2018-12-17 11:40:08 · 762 阅读 · 9 评论