大数据
文章平均质量分 92
陈修一
加里敦大学地理系毕业生,编程练习时长三个月的个人练习生。
主要研究方向:人口地理、城市地理、大数据、遥感。
展开
-
【Python】批量爬取OSM建筑瓦片数据并整合为shp格式数据
目录1 简介2 效果展示3 思路及代码3 完整代码1 简介最近在做一项课题,涉及到建筑足迹(Building footprints)数据。所以想看看现在比较常用的都有什么产品。目前查到的比较权威的有微软的和谷歌的,虽然以上两个数据的覆盖率都挺全的,但是无奈几乎都只有图形信息,没有其他字段。所以我还找到了OSM建筑数据作为补充,OSM数据虽然遗漏的建筑比较多,但有比较丰富的字段信息,如下。比较麻烦的是,OSM建筑数据不是一键下载的,而是geojson的瓦片数据。但还好它提供了url。所以,这篇文原创 2022-05-16 11:09:02 · 3047 阅读 · 4 评论 -
【Python】基于Python的百度迁徙5——实时拥堵与拥堵指数(附代码)
这是百度迁徙系列的第五篇。老规矩,如果想获取过去的数据的话,可以私聊或者电子邮件(chinshuuichi目录简介效果展示代码(当日24小时拥堵指数变化)代码(当日24小时拥堵指数变化-历史)代码(实时拥堵行政区排行)代码(实时拥堵道路排行)代码调用系列文章简介百度迁徙 :百度迁徙前几天瞅了眼百度迁徙,发现推出了实时拥堵指数,所以写了百度迁徙系列的第五篇博客。。。效果展示老实说,实时拥堵里面的所有数据在”拥堵详情“里都有,只不过展现的方式换了。所以我这里主要获取拥堵详情里的数据。要不然里面的类型原创 2021-10-24 17:22:14 · 8948 阅读 · 17 评论 -
【Python】基于Python的百度迁徙4——上班和休闲指数(附代码)
目录简介效果展示代码系列文章简介百度迁徙 :百度迁徙这是百度迁徙大数据的第四篇博客,不过多地说明了。最近太忙了,本来我已经一个月多月没研究这个数据了,上周贺博士联系我说更新了那个什么上班和休闲指数,让我爬取一下顺便更新一下博客。贺博士太热情了并且给的实在是太多了!于是我就在上班划水的时候写写了。效果展示本文的数据来自百度迁徙里面的上班出行强度指数和就餐休闲出行强度指数,如下图。本文提供的代码可以批量抓取数据,如抓取所有城市级别的上班和休闲指数放进同一个excel里的不同的sheet中。原创 2021-03-15 10:09:27 · 1821 阅读 · 4 评论 -
【Python】基于Python获取腾讯位置大数据并进行数据清洗与可视化
目录1. 引言2. 数据爬取2.1. 代码2.2. 结果3. 数据清洗3.1. 代码3.2. 结果4. 可视化展示后记1. 引言由于前面几篇关于百度迁徙获取数据的文章反响不错,有好多dalao联系我。在十一月份的时候,一位老师联系到我,并且表示还需要腾讯位置大数据,然后给我发来一篇博客问我能不能模仿着实现,她给我发的这篇博客确实让我受益匪浅。这篇博客似乎来自于河海大学的吴同学,里面的代码应该也是他写的,于是乎我就厚着脸皮在他原有的代码上进行拓展,并且厚着脸皮写下了这篇博客。刚好之前也拜读过吴同学关于腾讯原创 2021-02-11 00:53:03 · 6931 阅读 · 19 评论 -
【Python】基于Python的百度迁徙(2020年10月21日更)
目录简介基于前几篇博文的代码改变简介百度迁徙这几天因为要汇报的PPT,所以又登上去看看百度迁徙大数据,发现数据更新了!从9月22日开始到昨天(10月20日)的数据都有。然后我就拿上半年写的代码试着爬取了一下,发现旧的代码不太适用了,于是乎我研究了一下就写了这篇博客。旧代码及爬取效果可以看我前几篇文章,链接在下面。基于python的百度迁徙1——迁入、迁出数据(附代码)基于python的百度迁徙2——迁徙规模指数(附代码)基于python的百度迁徙3——城内出行强度(附代码)基于前几篇博文原创 2020-10-21 11:59:01 · 1141 阅读 · 0 评论 -
【Python】基于Python获取链家小区房价信息及其POI数据
文章目录简介效果展示分析网页代码思路完整代码展望简介本来要先发在csdn上的,但是之前学弟催我给他公众号写点东西,我就把这篇博客首发在他的公众号上,现在得空了就把这篇搬回来。大家可以关注一下学弟的公众号。首先打开相关网页(北京链家小区信息)。注意:本博客的代码适用于爬取某个城市的小区房价信息。如需要爬取其他信息,可修改代码,链家的数据获取的基本逻辑都差不多。效果展示这是我之前在上一篇博客上写的效果,当时还没添加查询POI数据和写入CSV的功能。然后下面这个是后来修改完善后的导出效果。其中A-原创 2020-09-07 16:02:33 · 4743 阅读 · 8 评论 -
【Python】基于Python的行政区划编码字典
中国行政区划编码# ChineseAdminiDivisionsDict.py# 中国行政区划编码CitiesCode = { '北京市':110000,'天津市':120000, '石家庄市':130100,'唐山市':130200,'秦皇岛市':130300,'邯郸市':130400,'邢台市':130500,'保定市':...原创 2020-04-01 00:15:39 · 3827 阅读 · 0 评论 -
【Python】基于Python的百度迁徙3——城内出行强度(附代码)
简介百度迁徙 :百度迁徙不多逼逼,相关的自己了解。趁这几天比较好抓取数据,需要的数据就赶紧抓抓抓。效果展示本文的数据主要是来自百度迁徙里面的城内出行强度,如下图。本文提供的代码可以批量抓取数据,如抓取所有城市级别的城内出行强度数据放进同一个表格里。因为是城内出行强度,所以不像我前面两篇文章,本文的城内出行强度只有城市级别,因此最后只有一个表格。先展示一波抓取后的数据,各位看官看看是...原创 2020-03-08 13:59:52 · 7204 阅读 · 17 评论 -
【Python】基于Python的百度迁徙2——迁徙规模指数(附代码)
简介百度迁徙 :百度迁徙不多逼逼,相关的自己了解。趁这几天比较好抓取数据,需要的数据就赶紧抓抓抓。效果展示本文的数据主要是来自百度迁徙里面的迁徙规模指数,如下图。本文提供的代码可以批量抓取数据,如抓取所有城市级别的迁入规模指数放进一个表格里,迁出规模指数放进另一个表格里,这样。或者你也可以设定抓取所有省份级别的数据。如下图,我分别按全国级别、省份级别、城市级别抓取,共获得五个表格,为什...原创 2020-03-08 13:38:15 · 16158 阅读 · 59 评论 -
【Python】基于Python的百度迁徙1——迁入、迁出数据(附代码)
简介百度迁徙 :http://qianxi.baidu.com不多逼逼,相关的自己了解。趁这几天比较好抓取数据,需要的数据就赶紧抓抓抓。效果展示不着急看代码,先给你们看一波效果图,各位看官看完效果图看看是不是自己需要的再看代码。我是把获得的数据存成一个xls格式,因为csv换列不太方便(我不会)所以我选择了xls。这张图里表是我的家乡泉州一月、二月一共两个月的迁出数据,左边第一列是全国...原创 2020-03-05 21:13:21 · 22364 阅读 · 56 评论