- 博客(12)
- 收藏
- 关注
RSS订阅原创 2020年度科研生活全方面总结
0 前言2020年即将结束了，这也意味着研二已经过去一半了，研究生生活也恰好过去了一半，于是趁着此次征文活动记录下过去一年的一些感悟与体会。1 博客运营及分享写博客主要是出于爱好，并没有什么功利的想法，看着自己学到的东西越来越多，看到越来越多的朋友给我留言点赞，还是会有一种莫名的成就感，有时候做科研做不下去了，就会打开csdn看一看，此时会觉得无论出不出得了成果，自己学习到的知识都在一点点累积，此时便又有了前行的动力。不知不觉写博客也已经三年了，刚开始写博客时的文章都是一些最简单的基础知识，可能就一
2020-12-29 09:51:16
2592
9
原创 python 高德poi 公交路径规划数据获取
《地图时空大数据爬取》一书第9章，动态交通出行数据采集。实现的功能是给定一系列的出发点，给定一系列的目的地点，给定时间日期。利用高德api采集任意一个起点和终点间的公交出行数据，包括距离、出行时间、步行距离、步行时间、公交车内时间、距离、行程总费用等等，最为关键的是连路径的polyline都能采集下来，所以采集信息十分丰富，代码我放在github里，点击这里传送。...
2020-12-28 16:44:09
1654
转载 Cluster Analysis with Dirichlet Process Mixture Models
在一篇文章看到使用DPMM做聚类，网上很多关于Dirichlet Process的资料，很多关于DPMM的资料，但是没找着怎么用这个来做聚类，而且这个对数学要求太高了，看了两天硬是搞不懂是个啥，最后算是有一点点模糊地理解吧，但是也不知道理解得对不对（真是哭了），把对我理解最有用的资料放上来，有时间再看看吧。Gibbs sampling徐亦达关于Dirichlet Process的讲解Overview of Cluster Analysis and Dirichlet Process Mixture
2020-12-25 20:49:57
474
原创 Inferring temporal motifs for travel pattern analysis using large scale smart card data
1.概述文章提出了一种基于拓扑的出行模式分析方法，该方法对数据集的要求较低，扩展性高。2.数据集数据的话理论上LBS数据都可以，但是实际上比较适用于知道每一次trip信息的数据，比如车牌识别数据和手机信令数据可能就无法产生那么好的效果，因为这些数据需要先做出行链打断，而且也不像公交站点一样每次OD都比较固定。所以最好的话还是公交刷卡数据，文章使用的数据集包括：公交刷卡数据、共享单车数据、GIS数据。3.方法论该研究将一个出行者一天的trip chain作为一个graph，然后利用提出的 tempo
2020-12-22 20:18:45
282
原创 基于pyecharts Geo BMAP 的地图可视化
ptecharts更新到v1了，v0.x的代码都不能使用了，都得重写了，更新后的pyecharts可定制化程度更高了，几乎每一个组件都可以自己定制样式了。并且现在还多了一个BMAP，这个地图可以基于百度地图来进行可视化，效果还是很不错的。下面我就给出我写的一个geo和BAMP的例子，也作为备份，之后画图可以直接调用。pyecharts官网链接。本文的案例的数据如下所示：geo的案例所使用的数据为：BMAP案例的数据为：{ "A": [120.075231,30.311932], "
2020-12-20 14:46:53
3205
3
原创 python 公园、绿地、饭店等任何一种poi类型信息数据的爬取
利用百度或高德的api接口，是无法获得这些poi点的详细信息数据的，只能获得poi的经纬度和类型，还有名字，但是这个poi的面积，形状具体是咋样的，我们是无法得知的，百度或高德的api接口没有给出这个信息。《地图时空大数据爬取》一书上第6章后半部分给出一个爬虫的代码，但是这个代码现在已经不行了，网上说好像是因为高德网站更新过了，反爬性能变强了，以后直接用request，urllib等来爬是无法成功的。而且我尝试了更改ip，更改浏览器伪装信息user-agent等都无法成功，最后还使得我电脑无法用高德进行查询
2020-12-17 15:38:28
4565
2
原创 python 抓取行政区划
这是《地图时空大数据爬取》第6章的内容，这篇博客主要是抓取一下行政区划数据，最小是能抓到区县的行政区划数据。然后书里是用arcpy和arcgis再加上python一起来处理的，有些麻烦，我统一用python来处理了，改写了下代码，因为很简单，就不多说了，直接放代码。import basicsimport geopandas as gpdimport pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport jsoni
2020-12-15 16:06:12
1731
4
原创 Social media usage reveals recovery of small businesses after natural hazard events
今天把另一篇nature也看掉了，这篇nature的逻辑相对而言难度不是那么大，因此看起来就快很多啦。1.文章目标这篇文章主要是给出了基于社交媒体数据的一个异常事件发生监测算法，当然该方法也可以计算出异常事件的持续时间。2.数据文章主要是使用了facebook数据，卫星数据等一些数据做case来证明该方法的优越及准确，由于该文章侧重方法，对数据要求其实不是很高。以facebook数据为例，对facebook数据信息的利用其实比较少，只用到了每个facebook账号每天发多少posts。3.具体方法
2020-12-10 19:59:34
239
原创 The elbow method
记录一下the elbow method，今天看文章时看到了一个elbow method，特此记录一下，因为之前我写文章，经常会遇到需要设定阈值的情况，阈值的确定其实是不难，但是这个过程容易引入主观性，一旦引入主观性审稿人就会批你了，而elbow method其实就是一种敏感性分析，然后在敏感性分析过程中尽可能客观，简单而使用。1. The elbow method in clustering这个其实不是文章中提到的elbow method，而是查了下wiki，wiki上是这么说的：In cluste
2020-12-10 16:50:46
2246
3
原创 api 路况信息爬取
看完了《地图时空大数据爬取》第五章，想着实践一下，于是我用义乌市的shp文件做了一下case实践了一下，没想到状况连出，我主要遇到了下述几个问题：arcpy无法导入，我使用的是arcmap10.7，按照网上的各种教程，比如在路径文件里加入arcpy的路径之类的，都不行，最后我在spyder里的搜寻路径中添加了arcpy文件的路径，倒确实能够成功把这个包import了，这说明spyder里添加搜索路径确实还是有用的，无法import的同志们可以试试，但是import过程中显示导入的代码又出错了，最后查来查
2020-12-10 09:51:42
1510
转载 geopandas面积计算及投影
今天对某市进行了栅格，想看下栅格的面积，然后直接用geopandas.area进行查看，但是发现计算出来的面积不对，jupyter弹出了警告信息：E:\Anaconda\lib\site-packages\ipykernel_launcher.py:1: UserWarning: Geometry is in a geographic CRS. Results from ‘area’ are likely incorrect. Use ‘GeoSeries.to_crs()’ to re-project
2020-12-09 21:13:26
4210
原创 Mobility network models of COVID-19 explain inequities and inform reopening
这是nature上的一篇文章，主要是研究了一下交通对疫情的影响，做的很好，主要体现在研究结果很有意义，方法效果好，工作量巨大。用的方法难度倒不是非常大，看了之后也都能理解。1.文章目标和意义文章主要是研究了出行对疫情传播的影响。具体而言，分析了：出行减少和重新开放计划对疫情发展的影响；少量的POI占据了绝大多数的疫情感染，并分析了其中的原因；减小POI的最大占用率对疫情控制的影响；重新开放不同类型的POI对相对风险的影响；不同阶层和种族的疫情感染差异情况，并分析了造成该差异的原因；主要就
2020-12-08 19:32:29
677
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人