- 博客(40)
- 收藏
- 关注
RSS订阅原创 基于python的百度迁徙迁入、迁出数据分析（四）
对数据源进一步挖掘发现，这个获取是数据范围还是不全，至少历史春运客流量数据也是可以拿到的，然后通过对数据的进一步检索和尝试，发现部分国定假日数据还是可以查出来了的，现在明确的是春运40天的迁徙数据，从2019年-2024年春运数据都可以查，还有部分年份的国庆数据，还有上文提到的(20190112, 20190309)，(20230104, 20230506)，(20240123, 20240728)；文章仅用于分享个人学习成果与个人存档之用，分享知识，如有侵权，请联系作者进行删除。
2024-07-30 19:58:24
259
原创 基于python的百度迁徙迁入、迁出数据分析（三）
百度迁徙以用户常住地所在地市或停留超过一天的非常住地定义为出发城市，以用户离开出发城市，并在非出发城市停留超过4 h以上定义为到达城市。采用4h阈值，排除了城际出行中的途经地。
2024-07-29 20:30:32
280
原创 路网双线合并单线——ArcGISpro 解决方法（二）
我使用的数据是通过osmnx下载的路网数据自带一些标签，当然也可以通过增加字段的方法手动增加一个字段来区分单线和多线路网，例如单线设置为0，多线为1（需要下载路网数据可以看我往期文章），里面有一个字段是"oneway"，打开属性表——>【按属性选择】，这里选择字段"oneway" ，"等于"，"0"，就把"oneway" 等于零的部分全选了；赋值完成后，就是选择视图——>地理处理——>搜索"合并分开的道路"，填一下参数，这里选择我们创建好的字段"way"，合并距离可以自定义，我这里选择50m；
2024-07-28 21:40:22
724
原创 批量打断相交线——ArcGIS 解决方法
文章仅用于分享个人学习成果与个人存档之用，分享知识，如有侵权，请联系作者进行删除。这个过程对于后续的分析、编辑、或是可视化展现都至关重要，因为它可以确保每条线都是独立的，避免了因为线条重叠或相交而可能产生的错误或混淆。再次打开属性表，看原线段已被打断，可以看到相交的部分已经被分割成一个个小段，线段数量也增加至7954条，即可看到整个路网已经被批量打断；打开ArcToolBox，找到【数据管理工具】——>【要素】——>【要素转线】，或者直接搜索要素转线；
2024-07-24 20:02:56
775
原创 OSMnx路网下载、速度赋值、通行时间计算及可视化
文章仅用于分享个人学习成果与个人存档之用，分享知识，如有侵权，请联系作者进行删除。所有信息均基于作者的个人理解和经验，不代表任何官方立场或权威解读。完整代码#运行环境 Python 3.11。完整代码#运行环境 Python 3.11。完整代码#运行环境 Python 3.11。完整代码#运行环境 Python 3.11。
2024-07-23 20:11:06
207
原创 利用OSMnx求路网最短路径并可视化（二）
书接上回，，我们使用图形化工具matplotlib结合OSMnx的绘图功能来展示整个路网图，并特别高亮显示计算出的最短路径。完整代码#运行环境 Python 3.11多起终点最短路路径可视化展示；计算出最短路距离和通行时间；
2024-07-23 19:38:33
736
原创 批量打断相交线——ArcGISpro 解决方法
文章仅用于分享个人学习成果与个人存档之用，分享知识，如有侵权，请联系作者进行删除。这个过程对于后续的分析、编辑、或是可视化展现都至关重要，因为它可以确保每条线都是独立的，避免了因为线条重叠或相交而可能产生的错误或混淆。在要素组中，单击【修改】 在修改要素窗格中，单击【打断】；打断前先打开属性表看一下现有线段数，这是以厦门市思明区为例，线段数量为6932条；在数据处理，特别是地理空间数据处理或是任何涉及图形和线条分析的场景中，手动全选路网图层，拓扑容差选择默认，点击【打断】，即可实现批量打断；
2024-07-22 20:23:56
604
原创 利用OSMnx求路网最短路径并可视化（一）
利用NetworkX库，在预先构建好的路网图中，我们可以精确地计算出从指定起点到终点的最短路径。随后，为了增强路径的可视化效果和理解度，我们使用图形化工具matplotlib结合OSMnx的绘图功能来展示整个路网图，并特别高亮显示计算出的最短路径。这样，道路、交叉点以及最关键的路径走向都被清晰地呈现出来，能够直观地把握路径的详细信息以及整个路网的布局结构。结果如下图所示，该结果展示了起点【0】到终点【2716】的最短路径，并保存为png格式。完整代码#运行环境 Python 3.11。
2024-07-22 19:23:27
539
原创 Python本地安装whl文件详解与高级pip命令技巧
有些情况我们pip一下包的时候会报错，可能因为延时或许其他不兼容的情况，这时候我们可以通过去网上下载该包的原文件，进行本地物理pip ，在安装网上下载的whl之前，先明白不同后缀的差异；在Python的生态环境中，.whl文件（全称为wheel文件）是一种预编译的二进制包，用于分发和安装Python库。
2024-07-21 09:03:04
1307
原创 利用OSMnx绘制的等时线地图
但是可以利用 OSMnx 获取的路网数据与 networkx结合，通过OSMnx 构建的路网图G，再利用 networkx 的最短路径算法来估计旅行时间，可以计算出从某一起点到图中所有其他点的最短路径，或者在限定时间内可到达的所有地点。为了计算等时线，可以选择一个或多个中心点，然后确定一系列时间间隔（如5分钟、10分钟等），对每个时间间隔应用算法，找出在此时间内能够到达的所有地点集合。完整代码#运行环境 Python 3.11。通行时间分级，和通行时间也可以相应调整；
2024-07-20 17:36:45
274
原创 路网双线合并单线——ArcGIS 解决方法
打开我们拿到的line，随便打开一个打开属性表，选择【添加字段】，我这里增加了二个字段一个length（这里选择【计算几何】，计算长度，单位选择米，如果是灰色的，那就先定义一下投影），一个highway字段，分别计算路网长度，和将道路类型赋值给线段，然后右键已经添加的字段，选择【字段计算器】，这里选择。此时，点击ArcScan工具条中——>【栅格捕捉选项】，调大最大宽度，再次——>【显示预览】，直至所有范围均显示为红色，一般区间50-80个像素也就够了，如果还有些蓝色的地方是孤立的线段，就不用在意；
2024-07-19 21:20:13
1420
原创 利用OSMnx创建交互式地图
利用OSMnx创建交互式地图，用于探索城市的街道网络、特定路线、建筑物、公共交通设施等，以及如何根据不同的属性进行可视化展示，允许用户根据不同的属性对地图进行定制化的可视化展示。结果保存为HTML，通过浏览器直接打开HTML，可以看到图上展示了公交站、地铁站、公园、属性标签为'' 建筑物''的数据，如果需要调整地址把该行改成想要的就行，place = "Siming Qu, Xiamen,Fujian,China"，包括配色、大小等属性都可以按需调整；完整代码#运行环境 Python 3.11。
2024-07-19 20:00:45
325
原创 利用OSMnx计算路网介数中心度（Betweenness Centrality）
具体而言，一个节点的介数中心度越高，表示通过该节点的最短路径数量越多，意味着该节点在网络中更具有控制力或影响力，简单来说，就是从每块中的任一节点到其他某块中的任一节点的最短路径必然要经过的节点。计算介数中心度时，对于每一对节点之间的最短路径，我们统计经过某个特定节点的最短路径的数量，然后将这些数量累加起来。因此，A出现在最短路径中间的次数为0，B出现在最短路径中间的次数为3，C出现在最短路径中间的次数为4，D出现最短路径中间的次数为3， E出现在最短路径中间的次数为0。
2024-07-17 20:09:58
442
原创 利用OSMnx对路网节点进行简化
利用OSMnx对路网节点进行简化是一个重要的步骤，特别是在处理大型或复杂的道路网络时，节点简化可以显著减少计算量并提高分析效率，在路网分析中，原始的道路网络数据可能包含大量的节点，尤其是在交叉口和复杂路口处。这些节点在增加数据复杂性的同时，也可能对分析结果产生不必要的干扰。因此，通过节点简化，可以合并相邻的节点，减少节点数量，同时保持道路网络的拓扑结构和关键特征。
2024-07-16 20:38:50
625
原创 利用OSMnx进行城市路网数据的速度与通行时间推算及分析
然后，这个速度值会被添加为边的属性，命名为 ''speed_kph''（表示速度，单位为公里/小时），并增加"travel_time"（表示通行时间，单位为秒）。这里对''speed_kph''列计算了平均值''mean''，表示该''highway''类型下所有边的平均速度；导入ArcGISpro进行展示，并以speed作为颜色分级标签，分级方法选择''自然间断点分段法''，分了5个层级；：通过''highway''列进行分组，意味着会将所有具有相同''highway''值的行（即边）归为一组。
2024-07-15 20:13:18
495
原创 ipynb转换为pdf、Markdown（.md）
等等还有许多的格式，这里就不一一枚举了，这里重点讲以转出.pdf和.md，因为许多脚本实例和注释通常是纯英文的，读起来实在是吃力，所以我想AI大模型最近这么流行，能不能让它帮我读，然后把内容精炼给我，并添加加每一步的注释，这里以通义千问为例，上传文档格式，它支持如图这些格式，所以就选了.pdf和.md二种比较好实现的格式；: 转换为纯Python脚本，只包含代码块，不包括Markdown文本和输出结果，适合将Notebook中的代码整合到其他项目中或进行版本控制。完整代码#运行环境python3.11。
2024-07-15 19:41:16
460
原创 OpenStreetMap的数据下载方法及数据标签说明
OSM地图数据是指来自OpenStreetMap（开放街道地图）项目的地理信息数据。OpenStreetMap是一个由全球志愿者共同维护的开源地图项目，OSM地图数据的特点包括开放性和可编辑性，这意味着任何人都可以贡献和改进地图数据。这些数据涵盖了道路、建筑、水系、地形等多种地理要素，具有丰富的地理信息和细节，OSM地图数据的来源主要是志愿者的贡献，他们通过实地调查、卫星影像解译等方式，不断更新和完善地图数据。
2024-07-14 11:14:15
837
原创 路网双线合并单线——ArcGISpro 解决方法
此外，车道数较多的道路（例如，双黄实线车道数大于4的道路）也可以视为双线路网，本文还是以广州市路网为例用于将路网双线合并成单线，本文通过ArcGISpro来实现路网双线合并单线。先测量路网宽度，测量单位选择m，一般根据实际路网进行测量选择合并范围，主干道和高速公路的车道宽度一般为3.75米左右，即使双向8车道也才30m，加上非机动车道和绿化带之类等物理阻隔，可以设置合并距离在50m左右，个人认为上限不要超过100m为好。局部双线路网数据放大，可以看到大部分路网，特别是主干道是双线或者多线；
2024-07-14 08:51:34
565
3
原创 基于OSMnx的OpenStreetMap路网数据下载及可视化
GeoPackage支持通过SQL查询和编程接口进行复杂的数据处理和分析相比于shp文件的扩展性相对有限，主要依赖于GIS软件的内置功能来处理和分析数据。然而对GeoPackage支持较好的软件包括QGIS、ArcGISpro 等，由于ArcGIS在10.8版本后不再更新，对新的数据格式支持较差，所以本文下载了ArcGISpro3.1.5版本来进行数据处理。属性表里包含了包括道路id、名称、车道数、道路类型等一些数据标签，当然也有不全的，且里面大部分路网是双线，需要转单线的话则需要另行处理；
2024-07-13 17:47:40
382
原创 ArcGIS常用实例之——拆分多部件要素与合并多部件要素
在ArcGIS中，频繁遇到的特殊情况，包括将多要素误识别为单个要素，或是单个要素在选择操作时看似与周围多个要素相连。这种情况通常源于几方面的原因，包括数据精度问题、拓扑错误、 symbology（符号系统）设置不当，或者是图层选择设置的混淆，所以我们需要手动来处理这些问题。
2024-07-08 20:00:43
734
原创 python更新包、pip延时报错，pip check 查询冲突
pip下载package或者更新package会出现延迟报错的问题，因为python默认使用的是国外镜像，有时候下载非常慢，我们可以选择进行换源，引用国内的镜像资源进行更新或者下载。
2024-07-03 20:59:16
520
原创 基于python的百度迁徙迁入、迁出数据分析（二）
获取了2024年5月1日-5月5日的数据，并选取了迁徙规模指数最高的前20，反映上海节假日期间迁出热门城市趋势，可以看出热门城市分布在周边杭州、苏州、南通等城市。2.可以设置数据的渲染方式，分级字段、分级级数、透明度、线样式、线宽、弧度、是否显示时间轴等选项，可以自行摸索，符合自己的审美即可。2024年5月1日-5月5日的上海五一节假日人口迁入数据GIF展示；1.下载数据模版，将数据按模版进行修改，并上传数据。这部分是将得到的数据进行可视化展示，用到的平台。
2024-06-25 20:57:00
437
原创 基于python的百度迁徙迁入、迁出数据分析（一）
第二步获取上海市对其他城市的迁入、迁出数据，日期可以自定义，并且日期可以很早，目测当前时间半年之前的数据都可以获取，如果全都是0的话，就代表时间日期不能再早了。整体逻辑没变，优化保存结果为.xlsx，另外从交通规划的角度，城市之间的分析尺度已经偏宏观了，所以本文聚焦于城市尺度下百度迁徙迁入、迁出数据分析。导出Excel表格内容如下，数据标签包括城市的编码、城市的名称，日期、迁徙规模指数（反映迁入或迁出人口规模，城市间可横向对比）。完整代码#运行环境Python 3.11。
2024-06-25 20:56:15
385
原创 利用高德API获取整个城市的公交路线并可视化（二）
书接上回，到了可视化的部分，先回顾一下原数据表结构，数据标签包括：公交线路名称、始发站、终点站、行车区间、全程长度、途径站点名、途径站点坐标、途径站点第几站这几个标签，然而做可视化并不需要这么多标签，我选取了line_name、station_name、station_coords和station_sequence，这4个标签；PS：读取路径改成自己的，不想加前缀就把文件放在.py下，输出路径也可以改成自己的，不改的话也可以，whatever~#运行环境 Python 3.11。
2024-06-21 17:32:19
409
原创 利用高德API获取整个城市的公交路线并可视化（一）
PS：完整代码如下，（但是运行前检查以下问题1、把url里面的key和安全密钥换成自己，2、把city改成你抓取的城市，读取txt的路径也改成你自己的，可以把txt放在你运行文件.py的路径下，对了，结果也会在里面）；记录于2024年6月，因为高德API的key策略调整，增加了安全密钥这个一部分，同时拾人牙慧，优化了抓取一个城市的公交站点及其途径站点数据方法，避免公交车命名规范而导致城市公交数据抓取不全问题。至此得到了公交线路查询的key及其安全密钥，以往代码不能用的原因也是因为缺少了新的安全密钥的关系；
2024-06-21 11:19:42
672
2
原创 Python一次性批量更新已安装的所有库
以下图实例冲突为例，pydantic2.7.4需要的是pydantic-core==2.18.4 的对应版本包，但我已经更新到最新的pydantic-core==2.19.0了，所以直接pip install pydantic-core==2.18.4 安装需求版本的pydantic-core，同步它会自动卸载最新版本的pydantic-core，再进行pip check 发现冲突解决。
2024-06-19 17:14:57
250
原创 Geojson转shp（csv）
上述标签包括（objectid，id，city，name，households，total_area，completion_year，address，housing_price，lon，lat），只需要改成你现有的标签就行；另外修改一下文件路径，存储位置和导出位置，同时注意一下文件编码例如utf-8,utf-6等。PS：如果上述代码都报错，可以用笨办法一个标签一个标签的打印，比如就先打印二个标签（ objectid，id），看看是不是编码问题之类的。
2024-06-05 17:57:21
428
原创 ArcGIS对POI的核密度分析
在核密度分析中，落入搜索区域内的点（或线）具有不同的权重，（如犯罪，每个点代表一个犯罪事件，但是核密度分析可以再把它犯罪的严重程度作为一个的权重）靠近格网搜索中心的点或线会被赋予较大的权重，随着其与格网中心距离的加大，权重降低。核密度分析用于计算要素在其周围邻域中的密度，既可计算点要素的密度也可计算线要素的密度。常用于测量建筑密度、获取犯罪情况报告、预测道路或管线对野生动物栖息地造成的影响等。位置：ArcToolbox——>Spatial Analyst工具——>密度分析——>核密度分析；
2024-04-08 16:37:20
1429
原创 navicat处理oracle数据库基础篇-03
(total - free) "表占用空间大小"，a.tablespace_name "表空间名"，free "表空间剩余大小"，total "表空间大小"，/*清空Oracle 回收站功能*/|| '%' "已使用空间百分比"
2024-02-26 17:49:47
248
1
原创 ArcGIS插件SDNA实现空间句法
5、打开第三个得到的路网图层的属性表，参考文章《基于sDNA 模型零售业分布特征及影响因素研究——以南昌市为例；吴海婷，向岚麟》，可以得到路网的整合度和连通度（穿行度）；7、在arcgis中打开路网图层的属性表 ——> 符号系统 ——> 类别 ，按TPBt(x)值分类得到连通度（穿行度）图层；6、在arcgis中打开路网图层的属性表 ——> 符号系统 ——> 类别 ，按NQPD(x)值分类得到整合度图层；1、首先下载最新版的SDNA插件，以管理员的身份运行即可，最好做过拓扑关系检查，很重要，
2024-02-08 15:42:02
1034
1
原创 ArcGIS中将栅格数据（TIFF）提取到网格
因为人口数据是栅格数据，有一些缺失值，可以通过插值补全，插值分析有许多中，本文选择反距离权重法，反距离权重法位置：ARCTOOLBOX ——>Spatial Analyst 工具 ——> 插值分析 ——>反距离权重法；6、将原始栅格数据根据深圳行政区进行裁剪，投影栅格位置：ARCTOOLBOX——> 数据管理工具——> 栅格——>栅格处理 ——> 裁剪；5、投影栅格位置：ARCTOOLBOX——> 数据管理工具 ——>投影和变换——>投影 ——>投影栅格；11、连接基于空间位置的另一图层的数据；
2024-02-07 17:45:25
3430
1
原创 navicat处理oracle数据库基础篇-02
*需要分2步,第一步在表中增加一个字段(名称、字段类型）,第二步是赋值(名称 = 2023))*//* drop table ... purge，删除并立即释放该表所占用的空间*/*表连接：将站点中心坐标与站点名称关联，并创建表tbl_station_3*//*将data字符类型，拆分成小时，和分钟独立为一列*//*将data字符类型，仅提取小时分钟秒部分*//*查询表前100行*/
2024-01-19 12:00:35
394
1
原创 深圳市政府数据开放平台调用数据接口
下面是通过接口获取数据的代码，将代码中的"RequestURL"，"DataSize"，"appKey"分别改成请求地址，数据条数和appKey然后运行即可。= 'https://opendata.sz.gov.cn/api/29200_00403627/1/service.xhtml' # 输入项目地址。print('获取第{}页数据，共{}页'.format(page_num, PageSize))print('请求第{}页数据失败，原因：{}'.format(page_num, e))
2023-11-03 17:47:49
913
原创 navicat处理oracle数据库基础篇-01
补充说明：concat 函数用于连接两个字符串，形成一个字符串, 与||效果相同，键盘上的【shift】+【\】table /*用特殊符号“*”对该表所有数据执行。inner join 表2 t2 on t1.tag4 = t2.tag5；table /*列出表中的想要的每一列*//*as关键字重新命名查询所返回的列，即是创建别名*//*concat、|| 用法*//*asc、desc 用法*//*rownum 用法*//*and、or用法*/
2023-08-09 18:33:04
300
原创 Arcgis中绘制漂亮的萤火图
右键图层，选择符号系统，调整该图层的符号大小，符号大小设置为从10到18，依据的是“单价”字段，通过自然间断点分级法选择分类层级；以ArcMap为例，选择黑色主题的午夜蓝底图；添加一张带透明通道的png图片。
2023-04-19 16:53:12
162
1
原创 Arcgis将站点按一定规则连线
首先导入Excel数据，数据需要包括lon、lat、lineIDs标签；ArcToolbox——>数据管理工具——>要素——>点集转线。导出数据，形成新的shp图层；添加数据，显示xy数据；将shp图层进行处理；
2023-04-18 16:04:03
1850
1
原创 Arcgis中生成泰森多边形的缓冲区
PS：如何需要调整泰森多边形生成范围，可以在ArcToobox 里右键——环境——处理范围 里面，把处理范围设置为与缓冲区图层相同；位置：ArcToolbox——>分析工具——>领域分析——>创建泰森多边形；位置：ArcToolbox——>分析工具——>领域分析——>缓冲区；位置：地理处理——>相交；得到结果：生成泰森多边形的缓冲区。
2023-04-14 11:59:07
1206
2
原创 Arcgis缓冲区内POI点计数统计
Arcgis缓冲区内POI点计数统计；空间连接，用于空间关系将一个要素类的属性连接到另一个要素类的属性。
2023-04-13 17:03:38
3611
2
SPSS Statistics 27
2024-06-19
共享单车数据.csv（成都市2022年）
2024-06-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人