微信公众号:虾神daxialu(咨询问题请加)

以推广空间分析和空间数据挖掘为己任,致力于在GIS界传递分析价值,

PySpark算子处理空间数据全解析(2): 啥是算子(1):RDD

说到蒜子嘛,不就是: 额,不对啊,那蒜子就应该是: 那么我只能表示: 那么,到底什么是算子呢? 算子实际上Spark里面的一种专业术语,实际上就是一种函数,但是与传统函数不一样的是,它进行的状态的转换。比如: 将小鸡变成KFC全家桶,之间就有好多个步骤,那么每个步骤实际上...

2019-01-28 17:39:02

阅读数 387

评论数 3

PySpark算子处理空间数据全解析(1): windows模拟开发环境搭建

Spark是个灰常强大的东西…… 实际上要说分布式集群神马的,Spark和hadoop一类的分布式计算框架,作为此轮大数据浪潮的尖刀,各种摧城拔寨,所向披靡,但是你真的对Spark的强大有所了解么? 我们先来看看Spark能干嘛,万能的广告平台某度的主页面: 翻了N页之后,发现所谓的...

2019-01-27 18:30:22

阅读数 246

评论数 0

Linux 系统下Anaconda 3 联合arcpy共同工作

作为一个天天要用Python,一天不用就像没有带手机出门一样的重度依赖症患者,机器里面有各种Python环境(最少Python2和Python3都同时存在。。。)那是正常得不得了的事情。 而作为GIS从业者,各种空间算法的环境也同样重要,所以就导致了大部分时候老得在ArcGIS官方提供的Pyth...

2018-11-09 17:39:55

阅读数 655

评论数 1

白话空间统计二十七:统计学七支柱之空间统计版本(三)信息的数量(2)

前文继续,书接上一回。 从大数据的角度来说,数据获取得越多,那么越接近真相——甚至在《大数据时代》一书中,还出现了“全量数据分析”这一概念。理论上是没错,就像询问我们出行的时候,需要多快速度的交通工具一样?回答肯定是“越快越好”,最好是破开空间,瞬间移动……那么这就是最快的么?错了,还有更快的,...

2018-11-04 20:14:51

阅读数 538

评论数 0

白话空间统计二十七:统计学七支柱之空间统计版本(二)聚合(1)

聚合,或者说汇总,可以称之为统计学的始祖级应用了。人类对任意事物,都有天然的概括和归纳的习惯,比如对于阅兵:我们肯定不会说:你看你看,第三排左边第四辆坦克的左前悬挂轮的第二颗螺丝,擦的真干净……锃光瓦亮的。如果你这么说,我保证大家会觉得你脑子有问题。一般我们都习惯的给出一个字,或者一个词就整体概括...

2018-05-23 09:09:18

阅读数 1274

评论数 1

白话空间统计二十七:统计学七支柱之空间统计版本(一)前言

何为支柱?支柱的概念就是一旦出问题,整个体系就会轰然崩塌……今天有幸阅读到了中科院于淼老师的文章《作为世界观的统计学》一文,觉得深有感触,作为一个致力于推广空间统计的二流科普写手的虾神,觉得突然心潮澎湃,不以此build一系列空间统计的版本,太对不起这么威武的一本书了。所以就有了如下一系列文章。另...

2018-05-23 09:09:04

阅读数 1380

评论数 1

白话空间统计二十七:统计学七支柱之空间统计版本(二)聚合(2)

还记得a long long time ago 的青葱岁月……作为学渣的虾神最怕的就是各种(不擅长)的考试,虾神读书时候有个习惯,就拿到试卷之后,第一时间会把试卷翻到最后一页,去看最后一道大题。然后以最后一题来评判整个试卷的难度——具体的评判方法就是最后一题会不会做,如果会,说明这次考试及格应该木...

2018-05-23 08:32:31

阅读数 1319

评论数 1

空间数据挖掘与空间大数据的探索与思考(七)完结篇

大数据的战略节点接下来我们看一下对于大数据我们能做什么,这个话题企业界比较感兴趣,在学术界可能谈论得比较少。一般来说,大数据战略目前有三个主要的关键节点:系统轻载、应用闭环、数据变现。第一个节点也是最重要的节点就是系统轻载。大家知道从一亿条数据中查询一条数据和从一万条数据中查询一条数据是截然不同的...

2018-05-07 17:42:56

阅读数 1843

评论数 2

空间数据挖掘与空间大数据的探索与思考(六)

接下来我们看一下我在实际工作中的遇到的一些与大数据建设有关的案例。 客户告诉我,他有一个很简单需求: (虾神每次听见“简单”这两个字,就瑟瑟发抖,曾经有个朋友问我会不会做网站,我说会一点点,然后他马上就说:“我有一个很简单的需求,你帮我做个百度那么简单的网站就行……就是一个输入框一个按钮……然后...

2018-04-26 12:14:10

阅读数 1835

评论数 0

空间数据挖掘与空间大数据的探索与思考(五)

如果按照互联网所谓的大数据特点来说,GIS领域大部分的传统数据都不算是实际意义上的大数据。我国从各个方面来说,都是一个大国,所以有各种大国的幸福和苦恼,特别是对于我们做GIS的人来说。比如地理国情普查,比如二调,比如农地确权,960万平方公里,十几亿人,生成的数据量都是极度庞大的,比如农地确权:农...

2018-04-09 11:29:23

阅读数 2651

评论数 0

利用Python实现山体阴影效果渲染

前段时间老在和Python的matplotlib过不去,虽然这个东西特别简单好用,但是默认绘制出来的图形简单中带着特有的丑,比如我对地震数据情况进行了一个2D散点图绘制,啥参数语句也不加,默认出现的就是这个效果: 好吧……虽然是默认的效果,这样太单薄了……所以就琢磨着要不加个背景图?比如这样的...

2018-03-29 09:15:49

阅读数 1722

评论数 0

空间数据挖掘与空间大数据的探索与思考(四)

讲完了空间统计学和数据中心,我来讲一讲业界很多政府官员以及我对大数据的认识和理解,因为我现在在ESRI中国主要做大数据,他们对大数据有一些什么样的认知呢?第一种认识,数据量大就是大数据,这是我去交流的时候很多用户提到的,动辄说大数据,就是我们有XX亿条,XXTB数据,所以我们就是大数据。还有说我们...

2018-03-28 11:30:56

阅读数 1839

评论数 0

空间数据挖掘与空间大数据的探索与思考(三)

地理的分析核心是来源于所谓的空间统计学,空间统计学有四个最基本的概念:空间概率、概率密度、不确定性和统计推断。第一个概念是空间概率,空间概率是一种符合地理学第一定律的联合概率。说道联合概念,先得聊聊经典统计学里面的联合概率。举一个简单的例子,一个女生要找想男朋友,问我有没有啥资源可以介绍 ?我问你...

2018-03-22 10:07:48

阅读数 3651

评论数 0

空间数据挖掘与空间大数据的探索与思考(二)

可视化号称是数据分析的最后一公里,有时候(更准确的说,是大部分时候),一张图就够了。图1是美国2000年人口统计数据,灰色的球表示所在州的人口数量,而且按照球体的大小,也很轻易的分辨美国的三大人口中心:分别是纽约、芝加哥、洛杉矶,橙色的球代表原住民。如果看的不是图,而是将这张上的数据列出做成Exc...

2018-03-18 13:10:40

阅读数 3799

评论数 0

空间数据挖掘与空间大数据的探索与思考(一)

本文是今年1月份去武汉参加社会计算会议的时候,应约在武汉大学GeoScienceCafe 论坛上面做的主题报告《空间数据挖掘与空间大数据的探索与思考》的讲话录音整理稿,另外虾神配合着PPT又重新编写了部分内容,形成了整个文稿,大约会形成三到五章左右发出来。

2018-03-17 18:23:49

阅读数 5935

评论数 1

ArcGIS Python API可视化及分析系列教程(一):入门与简介(2)安装与配置

前文再续,本节主要讲安装…… 前置要求: 1、有Python软件安装的经验。 2、离线安装的话,需要有ArcGIS Javascript API部署经验和能力。 如果这两个都从来没有弄过的话,就用在线的吧,省事。 ArcGIS 从9开始引入Python作为官方脚本...

2018-01-11 21:56:22

阅读数 2262

评论数 2

ArcGIS Python API可视化及分析系列教程(一):入门与简介

虾神自己热烈祝贺一下虾神开新坑…… 虾神2018年第一坑,开在了可视化上面,在2016年的时候,虾神完成了一套leaflet for R的系列教程,受到了很多同学的点赞,还有同学问,虾神你能不能写写Python的啊?我们毕竟用Python多啊……所以这次专门开了Python的web可视化...

2018-01-10 17:01:43

阅读数 4622

评论数 1

安卓智能地图开发与实施二十五:Shapefile文件的可视化与编辑 - ArcGIS Runtime SDK for Android(Version 100.2.0)

Shapefile文件的可视化与编辑ArcGIS Runtime 100.2.0的正式发布带来个更多移动端的处理地图的能力,例如支持WMS图层、支持海图(ENC)图层,再如基于场景相机(Camera)的视域分析。同时还提供了新的统计查询API(总和,平均值,计数,最小值,最大值,标准差或方差)。而...

2017-12-21 14:03:43

阅读数 3632

评论数 13

安卓智能地图开发与实施二十四:关于源代码的放送 - ArcGIS Runtime SDK for Android(Version 100.1.0)

关于源代码的放送 鉴于最近诸多ArcGIS Runtime for Android开发的炙热之士,多次邮件我索要源码,我才意识到出现了大的问题。先将以往博客的源码都放置在此: 链接:https://pan.baidu.com/s/1jIXOSeU 密码:y3dl 包含的内容如下: 稍微...

2017-12-18 09:32:57

阅读数 1622

评论数 6

安卓智能地图开发与实施二十三:三维场景中的可视化 - ArcGIS Runtime SDK for Android(Version 100.1.0)

三维场景中的可视化三维场景(SceneView 、ArcGISScene)中具备更多的符号化方式来传递信息,包括SimpleMarkerSceneSymbol、ModelMarkerSymbol、DistanceCompositeSceneSymbol以及空间要素拉伸。

2017-11-29 16:45:53

阅读数 1573

评论数 2

提示
确定要删除当前文章?
取消 删除
关闭
关闭