![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 89
陈修一
加里敦大学地理系毕业生,编程练习时长三个月的个人练习生。
主要研究方向:人口地理、城市地理、大数据、遥感。
展开
-
【Python】基于Python的机器学习分类的模型选择:交叉验证和模型质量评估
最近完成一个工作,就基于一些表格化的数据进行机器学习分类。由于分类是研究中的关键步骤,所以首先要选择到底哪个模型适合我们的分类任务。比较传统且经典的选择方法就是用交叉验证。交叉验证是什么可以看以下这幅图,来自这篇论文,这里不过多赘述。那么,具体实验中,有了数据之后,要怎么用自动化高效地方法完成交叉验证并选择合适的模型呢?这篇博文就是为了解决这个问题。本文要实现的东西很简单,在于:对多个模型进行k折交叉验证,并且对输出每一fold和每个模型的总体评价指标。原创 2023-07-06 02:16:02 · 1375 阅读 · 0 评论 -
【Python】使用Python调用Fragstats批量进行万级及以上数据的景观指数运算
本文针对的场景是,已经通过arcpy制作了渔网(fishnet)并且把一个tif根据渔网格网分裂成成千上万个带编号的小方格tif,接下来就要计算这些带编号的小放个的各种景观指数。本文假设同学们已经会使用界面化的fragstats,并且会制作批量计算的fbt脚本文件(也就是import batch需要导入的文件)。本文包括两部分:1,拆分批量运算的脚本文件(默认为fbt文件,但本文中为了方便使用csv格式的脚本);2,根据脚本文件集批量计算景观指数。原创 2022-09-23 20:00:36 · 4231 阅读 · 13 评论 -
【Python】批量爬取OSM建筑瓦片数据并整合为shp格式数据
目录1 简介2 效果展示3 思路及代码3 完整代码1 简介最近在做一项课题,涉及到建筑足迹(Building footprints)数据。所以想看看现在比较常用的都有什么产品。目前查到的比较权威的有微软的和谷歌的,虽然以上两个数据的覆盖率都挺全的,但是无奈几乎都只有图形信息,没有其他字段。所以我还找到了OSM建筑数据作为补充,OSM数据虽然遗漏的建筑比较多,但有比较丰富的字段信息,如下。比较麻烦的是,OSM建筑数据不是一键下载的,而是geojson的瓦片数据。但还好它提供了url。所以,这篇文原创 2022-05-16 11:09:02 · 3007 阅读 · 4 评论 -
【Python】一个简陋的基于混淆矩阵计算遥感分类精度(总体精度、Kappa系数、用户精度、生产者精度等)的代码
目录1 简介2 案例和代码说明3 完整代码1 简介有一篇文章返修了,由于文章的重点不在分类所以我之前就随便写个Kappa系数上去,没想到审稿人居然要求我提供其他参数ಥ_ಥ可是我只大概存了个各类型的分类。。。后来整理整理也只能得到一个混淆矩阵。。。说实话分类我做得也不多,作为纯ArcGIS党以前只知道有软件可以跑各种精度或GEE用现成代码跑。。本着靠自己不靠别人的想法,这次我就想写一个基于混淆矩阵计算总体精度(Overall Accuracy,OA)、Kappa系数(Kappa Coefficient)、原创 2022-02-28 13:55:39 · 8440 阅读 · 3 评论 -
【Python】基于Python的百度迁徙5——实时拥堵与拥堵指数(附代码)
这是百度迁徙系列的第五篇。老规矩,如果想获取过去的数据的话,可以私聊或者电子邮件(chinshuuichi目录简介效果展示代码(当日24小时拥堵指数变化)代码(当日24小时拥堵指数变化-历史)代码(实时拥堵行政区排行)代码(实时拥堵道路排行)代码调用系列文章简介百度迁徙 :百度迁徙前几天瞅了眼百度迁徙,发现推出了实时拥堵指数,所以写了百度迁徙系列的第五篇博客。。。效果展示老实说,实时拥堵里面的所有数据在”拥堵详情“里都有,只不过展现的方式换了。所以我这里主要获取拥堵详情里的数据。要不然里面的类型原创 2021-10-24 17:22:14 · 8762 阅读 · 17 评论 -
【Python】基于Python统计文件目录内每景栅格图像均值并输出成表
目录简介效果展示代码简介乔博士最近在做一个研究,涉及到过去十几年某些地区某些指标逐日的提取。一个指标5000+副影像需要获取均值,一共四五个指标。。。然而ArcGIS上手动做还是ArcPy做都不太现实,所以就问问我有没有相关的代码程序:我是有的,然而因为我之前涉及的没有那么多影像,最多也就几十景求均值,所以现成的代码是输入在终端里的。所以乔博士提出了这么个要求:所以,这次的代码目标是提取某个文件夹里所有影像的均值,并且输出成excel可以读的表。效果展示首先,得把tif扔进一个文件夹里:原创 2021-07-14 16:04:50 · 2320 阅读 · 5 评论 -
【Python】基于Python的百度迁徙4——上班和休闲指数(附代码)
目录简介效果展示代码系列文章简介百度迁徙 :百度迁徙这是百度迁徙大数据的第四篇博客,不过多地说明了。最近太忙了,本来我已经一个月多月没研究这个数据了,上周贺博士联系我说更新了那个什么上班和休闲指数,让我爬取一下顺便更新一下博客。贺博士太热情了并且给的实在是太多了!于是我就在上班划水的时候写写了。效果展示本文的数据来自百度迁徙里面的上班出行强度指数和就餐休闲出行强度指数,如下图。本文提供的代码可以批量抓取数据,如抓取所有城市级别的上班和休闲指数放进同一个excel里的不同的sheet中。原创 2021-03-15 10:09:27 · 1808 阅读 · 4 评论 -
【Python】基于Python获取腾讯位置大数据并进行数据清洗与可视化
目录1. 引言2. 数据爬取2.1. 代码2.2. 结果3. 数据清洗3.1. 代码3.2. 结果4. 可视化展示后记1. 引言由于前面几篇关于百度迁徙获取数据的文章反响不错,有好多dalao联系我。在十一月份的时候,一位老师联系到我,并且表示还需要腾讯位置大数据,然后给我发来一篇博客问我能不能模仿着实现,她给我发的这篇博客确实让我受益匪浅。这篇博客似乎来自于河海大学的吴同学,里面的代码应该也是他写的,于是乎我就厚着脸皮在他原有的代码上进行拓展,并且厚着脸皮写下了这篇博客。刚好之前也拜读过吴同学关于腾讯原创 2021-02-11 00:53:03 · 6798 阅读 · 19 评论 -
【Python】基于Python计算长时间遥感栅格图像的像元值变化度(斜率)和变异系数
目录简介与技术流程数据及其预处理要调用的包代码函数:计算斜率和变异系数代码:计算栅格图像的斜率代码:计算栅格图像的变异系数代码函数的调用后记简介与技术流程之前看到一篇文章,用变异系数(CV)计算年际初级净生产力(NPP)的变异系数,研究一个地区的产量稳定性。下面是这篇文章(Hong C, Jin X, Ren J, et al. 2019. Satellite data indicates multidimensional variation of agricultural production in原创 2021-01-09 16:05:38 · 9428 阅读 · 37 评论 -
【Python】基于Python利用熵权法计算数据权重——一个简单的图形用户界面编程
目录简介技术流程数据代码:极差标准化代码:熵权法赋权实验操作与流程关于数据获取简介师弟又催我给他公众号写文了,这次还点名要这个题目……所以我就先到自己的博客里写写练练手……(下面是正式的简介)根据信息熵的定义,对于某项指标,可以用熵值来判断某个指标的离散程度,其信息熵值越小,指标的离散程度越大, 该指标对综合评价的影响(即权重)就越大,如果某项指标的值全部相等,则该指标在综合评价中不起作用。因此,可利用信息熵这个工具,计算出各个指标的权重,为多指标综合评价提供依据。(上段直接拷贝自百度百科)技术原创 2020-11-12 10:30:50 · 10501 阅读 · 15 评论 -
【Python】基于Python的百度迁徙(2020年10月21日更)
目录简介基于前几篇博文的代码改变简介百度迁徙这几天因为要汇报的PPT,所以又登上去看看百度迁徙大数据,发现数据更新了!从9月22日开始到昨天(10月20日)的数据都有。然后我就拿上半年写的代码试着爬取了一下,发现旧的代码不太适用了,于是乎我研究了一下就写了这篇博客。旧代码及爬取效果可以看我前几篇文章,链接在下面。基于python的百度迁徙1——迁入、迁出数据(附代码)基于python的百度迁徙2——迁徙规模指数(附代码)基于python的百度迁徙3——城内出行强度(附代码)基于前几篇博文原创 2020-10-21 11:59:01 · 1125 阅读 · 0 评论 -
【Python】基于Python的机器学习回归:可视化、预测及预测结果保存(附代码)
目录简介数据代码效果关于数据获取简介其实……不太想写简介……之前写了两篇(第一篇点这里;第二篇点这里)关于机器学习(随机森林)的文章,反响还不错。然后前一段时间有一些小伙伴来问我关于预测的事情,我仔细回想了一下之前的文章我似乎没有把预测当成一个重要的任务(我在一定程度上陷入了误区),所以我赶紧(拖了好几个月)写下了这篇博客。机器学习不用多说了,主要还是用来完成回归和分类任务。本篇的任务是对于离散数据的回归,基于由训练集训练好的模型,然后根据预测集的feature对预测集的target预测(反正说白了原创 2020-10-14 20:41:14 · 20357 阅读 · 31 评论 -
【Python】基于Python获取链家小区房价信息及其POI数据
文章目录简介效果展示分析网页代码思路完整代码展望简介本来要先发在csdn上的,但是之前学弟催我给他公众号写点东西,我就把这篇博客首发在他的公众号上,现在得空了就把这篇搬回来。大家可以关注一下学弟的公众号。首先打开相关网页(北京链家小区信息)。注意:本博客的代码适用于爬取某个城市的小区房价信息。如需要爬取其他信息,可修改代码,链家的数据获取的基本逻辑都差不多。效果展示这是我之前在上一篇博客上写的效果,当时还没添加查询POI数据和写入CSV的功能。然后下面这个是后来修改完善后的导出效果。其中A-原创 2020-09-07 16:02:33 · 4649 阅读 · 8 评论 -
【Python】基于Python的复杂网络传播动力学及其可视化
0 简介本博文代码的思路是:1、假设某个(某些)在网络中的节点有某种传染病2、传染病会根据一定的传播概率传播给与被感染的节点直接相邻(连接)的其他节点然后,要把这个传播的过程用图片的形式呈现出来,并且记录下每次迭代的感染数据。顺便一提,本文基于SI模型,如果需要SIR模型还是SIS还是SIER模型的可以自己改进。1 效果展示——树状网络照例,先来一波效果展示。在可视化中红色是已被感染的节点,绿色是健康节点。这里我先展示一下3个分支5层的树状网络的效果,为了快点模拟完成,设置传染率0.5,原创 2020-05-10 20:06:53 · 13663 阅读 · 35 评论 -
【Python】基于Python的行政区划编码字典
中国行政区划编码# ChineseAdminiDivisionsDict.py# 中国行政区划编码CitiesCode = { '北京市':110000,'天津市':120000, '石家庄市':130100,'唐山市':130200,'秦皇岛市':130300,'邯郸市':130400,'邢台市':130500,'保定市':...原创 2020-04-01 00:15:39 · 3772 阅读 · 0 评论 -
【Python】基于Python的回归随机森林(RandomForestRegression)1:生成折线图与散点图(附代码)
基于python平台sklearn的回归随机森林(RandomForestRegression)简介直接上代码简介这里本来有简介,但是因为我懒,所以先没有简介。直接上代码```pythonimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport mathimport xlrdimpor...原创 2020-01-12 23:31:34 · 25264 阅读 · 66 评论 -
【Python】基于Python的百度迁徙3——城内出行强度(附代码)
简介百度迁徙 :百度迁徙不多逼逼,相关的自己了解。趁这几天比较好抓取数据,需要的数据就赶紧抓抓抓。效果展示本文的数据主要是来自百度迁徙里面的城内出行强度,如下图。本文提供的代码可以批量抓取数据,如抓取所有城市级别的城内出行强度数据放进同一个表格里。因为是城内出行强度,所以不像我前面两篇文章,本文的城内出行强度只有城市级别,因此最后只有一个表格。先展示一波抓取后的数据,各位看官看看是...原创 2020-03-08 13:59:52 · 7188 阅读 · 17 评论 -
【Python】基于Python的百度迁徙2——迁徙规模指数(附代码)
简介百度迁徙 :百度迁徙不多逼逼,相关的自己了解。趁这几天比较好抓取数据,需要的数据就赶紧抓抓抓。效果展示本文的数据主要是来自百度迁徙里面的迁徙规模指数,如下图。本文提供的代码可以批量抓取数据,如抓取所有城市级别的迁入规模指数放进一个表格里,迁出规模指数放进另一个表格里,这样。或者你也可以设定抓取所有省份级别的数据。如下图,我分别按全国级别、省份级别、城市级别抓取,共获得五个表格,为什...原创 2020-03-08 13:38:15 · 16084 阅读 · 59 评论 -
【Python】基于Python的百度迁徙1——迁入、迁出数据(附代码)
简介百度迁徙 :http://qianxi.baidu.com不多逼逼,相关的自己了解。趁这几天比较好抓取数据,需要的数据就赶紧抓抓抓。效果展示不着急看代码,先给你们看一波效果图,各位看官看完效果图看看是不是自己需要的再看代码。我是把获得的数据存成一个xls格式,因为csv换列不太方便(我不会)所以我选择了xls。这张图里表是我的家乡泉州一月、二月一共两个月的迁出数据,左边第一列是全国...原创 2020-03-05 21:13:21 · 22252 阅读 · 56 评论