Spatial Big Data(空间大数据)
大数据时代也对GIS提出了诸多挑战,如海量、多源、异构数据的存储与管理以及面对大量噪音的价值挖掘等。GIS作为空间数据管理、分析以及可视化的重要工具,空间大数据近年来也成为了研究热点。
优惠券已抵扣
余额抵扣
还需支付
¥19.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
GeoWin_CAU
其实,我是一个演员(研猿)……
展开
-
Linux LVM扩容
最近搭建hadoop集群,给的联想服务器,1T的硬盘,好啊!!!!!!!!!于是就装系统,尼玛!!只能红帽,好吧,红帽就红帽吧!!!!!!!装完之后发现为啥可用硬盘只有200多G!!!!难道是分区的时候搞错了,不知道,后来联系我们的段王爷,咨询了下,说还有700G没用,需要扩容!!!!!!!!不知道什么东西,看了鸟哥的Linux,终于搞定啦!记录如下:=============原创 2016-12-06 22:05:08 · 754 阅读 · 1 评论 -
Hadoop集群中添加或删除节点
最近由于试验的需要,涉及到不同节点个数的集群性能对比,因此,需要在原有的Hadoop集群中添加或者删除节点。第一步:修改Namenode中的Slaves文件,删除或者添加Datanode名称;第二步:将修改过的Slaves文件scp到每一个Datanode相应的位置,覆盖原文件;第三步:删除Namenode上的hdfs和logs文件下的所有文件;第四步:依次删除Datanode中h原创 2016-12-06 17:22:00 · 1154 阅读 · 0 评论 -
Hadoop问题集锦:Unauthorized request to start container
问题执行wordcount例子程序,出现以下错误:13/11/24 17:29:19 INFO mapreduce.Job: Running job: job_1385254770786_001313/11/24 17:29:20 INFO mapreduce.Job: Job job_1385254770786_0013 running in uber mode : false1原创 2016-11-15 10:16:02 · 3951 阅读 · 0 评论 -
Hadoop问题集锦:Hadoop 2.7.0 集群添加新节点
第一步:确认新添加的节点可以跑Hadoop 首先要配置好新节点N_slave上Hadoop的运行环境!!!!!第二步:配置master免密码登录新节点N_slave 先将master上的公钥 传到 新节点上去 scp ~/.ssh/id_rsa.pub 远程用户名@远程服务器IP:~/ -->将公钥复制到原创 2016-11-14 16:17:00 · 742 阅读 · 0 评论 -
Hadoop问题集锦:rmr: failed to get server trash configuration:null.……
RT: 在采用 ./hadoop fs -rmr //// 删除文件夹的时候出现:rmr: Failed to get server trash configuration: null. Consider using -skipTrash option========================解决:命令行为:./hadoop fs -rmr - skipTrash原创 2016-11-11 21:13:53 · 2441 阅读 · 0 评论 -
开放地理空间信息联盟(OGC)简介
OGC是一个非营利性国际组织,成立于1994年。OGC属于论坛性国际标准化组织,以美国为中心,目前有259个来自不同国家和地区的成员。OGC的目标是通过信息基础设施,把分布式计算、对象技术、中间件软件技术等用于地理信息处理,使地理空间数据和地理处理资源集成到主流的计算技术中。原创 2016-11-10 16:05:08 · 4920 阅读 · 0 评论 -
地理空间数据格式——GeoJSON
GeoJSON地理空间信息数据交换格式原创 2016-11-10 16:51:35 · 33214 阅读 · 1 评论 -
地理空间数据格式——OGC简单要素标准(WKT/WKB)
SFS(OpenGIS® Simple Features Interface Standard)的当前版本是1.2.0。事实上SFS中包括两部分内容,第一部分是描述简单要素的通用模型(Part 1: Common architecture )、另一部分是描述前一部分模型在SQL中的实现(Part 2: SQL option )[1] 。我们平时所熟知的WKT、WKB等就在第一部分中叙述,而在空间SQL语句中常见的AsText、Intersects操作等则在第二部分中有定义。原创 2016-11-10 17:38:09 · 15318 阅读 · 0 评论 -
地理空间数据格式——OGC-GML
GML(OpenGIS® Geography Markup Language Encoding Standard)当前版本是3.2.1。它是一种基于XML的地理要素描述语言标准,用以在不同的软件或系统间交换空间数据,比如后面会介绍的WFS标准就使用GML作为输入和输出格式。GML同时也是ISO标准。原创 2016-11-10 19:07:31 · 4515 阅读 · 0 评论 -
地理空间数据格式——OGC-KML
KML(OpenGIS® KML Encoding Standard)从2.2.0版本开始由Google提交到OGC并被接受为标准,当前OGC KML的版本也就是2.2.0。原创 2016-11-10 19:28:14 · 2430 阅读 · 0 评论 -
地理空间数据格式——GeoCSV
逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,字段间的分隔符是其它字符或字符串,最常见的是逗号或制表符。通常,所有记录都有完全相同的字段序列。原创 2016-11-10 19:56:13 · 2779 阅读 · 2 评论 -
Geometryservice:坐标转换、求多边形面积和周长
需求:用户提供GPS坐标序列,通过Geometryservice计算其对应多边形的面积和周长。原创 2016-11-09 17:48:42 · 2643 阅读 · 0 评论 -
GIS发展(后续补充)
GIS发展史……原创 2016-09-09 06:41:24 · 1102 阅读 · 0 评论 -
Shapefile 文件的局限性
Shapefile 是一种开放的非拓扑的简单几何数据类型,深受数据处理人员的喜爱。Shapefile 利用 dBASE 文件格式(.dbf 文件)来存储属性,dBase这种上世纪80年代的数据格式,现在基本淡出舞台。虽然Shapefile有万般好,但是,今天还是要来说说shapefile的局限性,也就是使用限制有什么,以便合理的选择使用Shapefile数据。转载 2016-09-08 00:49:16 · 2622 阅读 · 1 评论 -
Hadoop实战——如何获取当前Map对象所在的block id
如题,或者获取split ID in the mapfunction。=========================================InputSplit is = context.getInputSplit();splitId = MD5Hash.digest(is.toString()).toString();-----------------------原创 2016-06-10 00:39:06 · 8403 阅读 · 0 评论 -
空间数据可视化:ArcGIS JavaScript API 二、三维数据一体化
ESRI不愧为GIS业界巨头,从本科起就开始接触ArcGIS系列,桌面端从ArcMap 到 ArcPro,服务端从ArcIMS 到 ArcServer,无不体现了这个了不起的公司在与时俱进、不断创新。现在的一些列产品好多我都没有用过,像 portal,pro,webbuilder.........网络GIS 现在好像是只更新JavaScript了,GIS与计算机的关系,都被ESRI公司的产品体现的原创 2016-05-21 11:45:17 · 14327 阅读 · 0 评论 -
Maven 教程入门(整理版)
今天又开始看了Maven,感觉一下几个网友写的真是棒棒哒!!!记录一下。========================================================================maven 教程入门 maven 配置管理 编译java程序Maven学习总结(一)——Maven入门Maven那点事儿(Eclipse原创 2016-05-13 03:16:57 · 1789 阅读 · 1 评论 -
HiGIS期刊:GIS专业期刊汇总——持续更新!!!!
GIS 方向期刊,各位研究大神们加油哇!!!!欢迎各位补充!!!!!!!!!!原创 2016-05-12 00:56:50 · 9067 阅读 · 0 评论 -
Linux下查看文件和文件夹大小
当磁盘大小超过标准时会有报警提示,这时如果掌握df和du命令是非常明智的选择。 df可以查看一级文件夹大小、使用比例、档案系统及其挂入点,但对文件却无能为力。 du可以查看文件及文件夹的大小。 两者配合使用,非常有效。比如用df查看哪个一级目录过大,然后用df查看文件夹或文件的大小,如此便可迅速确定症结。 下面分别简要介绍 df命令转载 2016-05-09 22:33:24 · 2570 阅读 · 0 评论 -
GeoPython 随笔:空间数据查询——测试代码
Python,很久很久之前,只闻其声,未见其人。 也知道ESRI公司一直很重用Python,可我始终没有机会接触到。最近需要做一个测试,它就迎面扑来,搞的我措手不及。阿拉伯大哥给的代码确实给力,研究了一下,又提取出来了我想要的一部分,然后分析一下,写下来,供自己以后参考,也希望对大家有所帮助,我感觉很小。=============================================原创 2016-05-07 08:57:20 · 3390 阅读 · 0 评论 -
-bash: ./****.py: /usr/bin/python^M: bad interpreter: No such file or directory
在windows系统下写的python脚本,在linux下赋予权限chmod +x xxx.py 以后,执行./xxx.py运行提示:bash: /usr/bin/autocrorder: /usr/bin/python^M: bad interpreter: No such file or directory更多文章请点击我分析:这是不同系统编码格式引起的:在windows系原创 2016-05-07 05:49:10 · 7549 阅读 · 0 评论 -
ArcGIS 如何用点提取所在的面、线图层
如题,分一下两步走:==============================第一步,先用通过选择功能,选出要提取的面 Selct Layer By Location (Data Management) ///////////////////找不到就搜一下呗!--------------------------------------------------原创 2016-04-23 09:17:01 · 18414 阅读 · 0 评论 -
如何获取到Hadoop集群的个数
Class ClusterStatus====================================================================ClusterStatus provides clients with information such as:Size of the cluster.Name of the trackers.Task c原创 2016-04-15 00:08:54 · 7178 阅读 · 1 评论 -
矢量切片——集美貌与才华于一身的底图方案
Esri在2016年2月份推出新ArcGIS 10.4版本以及ArcGIS Pro 1.2,从能力上来讲可以发现ArcGIS一直在拥抱新技术,从时下很热的大数据、实时GIS等,这些方向都是未来的发展趋势并且有着很大的发展空间。在新的GIS技术和时代背景下,Esri也凭借着更加完善产品体系,完成由软件向平台转变。新的ArcGIS平台为用户打造“新一代WebGIS模式”,即一种以W转载 2016-04-08 22:29:44 · 11707 阅读 · 0 评论 -
Mapreduce实战:序列化与反序列化 int,int[],string[][]
最新一期《中国IT产业发展报告》在2016中国(深圳)IT领袖峰会上正式公布,数字中国联合会常务理事李颖称,中国IT产业完成了从要素驱动向效率驱动的过渡,目前正在由效率驱动向创新驱动发展。原创 2016-03-28 05:13:22 · 2235 阅读 · 0 评论 -
Hadoop实战:*********MapReduce的性能调优(二)*********
Hadoop为用户作业提供了多种可配置的参数,以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。一 应用程序编写规范1.设置Combiner 对于一大批MapReduce程序,如果可以设置一个Combiner,那么对于提高作业性能是十分有帮助的。Combiner可减少Map Task中间输出的结果,从而减少各个Reduce Task转载 2016-03-22 22:54:28 · 2336 阅读 · 0 评论 -
Hadoop实战:*********MapReduce的性能调优(一)*********
这里主要涉及的参数包括:HDFS:dfs.block.sizeMapredure:io.sort.mbio.sort.spill.percentmapred.local.dirmapred.map.tasks & mapred.tasktracker.map.tasks.maximummapred.reduce.tasks & mapred.tasktracker.转载 2016-03-22 22:49:15 · 3140 阅读 · 0 评论 -
Ubuntu 突然上不去网了怎么办
到家了也想看看程序,打开WIN8上的虚拟机VM,然后启动Ubuntu....................................像往常一样等待着界面,输入密码,然后修改程序。。。。。。。。。。。。。。一切就绪后,准备编译项目,突然无法get到网络了,what is wrong?第一次遇到。。。。。。。。。。==================================原创 2016-03-22 11:17:50 · 3186 阅读 · 1 评论 -
CentOS下tar解压 gz解压 bz2等各种解压文件使用方法
大致总结了一下linux下各种格式的压缩包的压缩、解压方法。但是部分方法我没有用到,也就不全,希望大家帮我补充,我将随时修改完善,谢谢! .tar 解包:tar xvf FileName.tar 打包:tar cvf FileName.tar DirName (注:tar是打包,不是压缩!) ———————————————转载 2016-03-22 08:07:20 · 9029 阅读 · 0 评论 -
hadoop Safe mode is ON 的解决办法
搭了一个hadoop集群环境,近期总是出现读写文件错误的情况,查看name node的日志显示 (Safe mode is ON)Safe mode is ON. The ratio of reported blocks 0.2000 has not reached the threshold 0.9990. Safe mode will be turned off aut转载 2016-03-19 22:30:40 · 9539 阅读 · 0 评论 -
Hadoop实战:使用Combiner提高Map/Reduce程序效率
好不容易算法搞定了,小数据测试也得到了很好的结果,可是扔到进群上,挂上大数据就挂了,无休止的reduce不会结束了。。。。。。。。。。。。。。。。====================================================================这才想起还有个combiner!!!!!!!!!!!!!!!!!!!!!我们知道,MapReduce是分为原创 2016-03-19 03:05:31 · 1632 阅读 · 0 评论 -
Hadoop实战: Linux报 tmp 磁盘存储不足
Linux 权限真是一大堆呀,在Linux下进行试验,突然来了个tmp磁盘存储不足。。。。。。。。。。。。。。。。。。然而,我却没有权限给tmp增加容量。。。。。。。。。。。。。只有修改配置文件了!!!!!!!!!!!===================================================================编辑conf/core-site原创 2016-03-18 01:45:25 · 2453 阅读 · 0 评论 -
Java 中如何对 Iterator<Text> values 实现两次遍历
Just like this!!!!!!!!!!!!!!!!=============================================================== public static class Reduce extends MapReduceBase implements Reducer { @Override public voi原创 2016-03-17 02:48:16 · 5421 阅读 · 0 评论 -
windows下:Failed to set permissions of path: \tmp\ \.staging to 0700
这个官方的bug之前遇到过。。。。。。。。。。。。。。。。。。。。。可是。。。。。。。==================================================12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...原创 2016-03-16 14:31:13 · 3340 阅读 · 0 评论 -
MapReduce的输入输出格式
默认的mapper是IdentityMapper,默认的reducer是IdentityReducer,它们将输入的键和值原封不动地写到输出中。默认的partitioner是HashPartitinoer,它根据每条记录的键进行哈希操作来分区。 输入文件:文件是MapReduce任务的数据的初始存储地。正常情况下,输入文件一般是存在HDFS里。这些文件的格式可以是任意的;我转载 2016-03-12 00:22:47 · 2128 阅读 · 1 评论 -
retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
还没开工,集群 就挂了,昨天还好好的,谁动了我的集群骂人骂人发火发火敲打敲打于是乎,开启google、百度模式,答案都试了个变,log反复看,还是不行。尼玛,我去页面看看……不看不知道,一看吓一跳,我的集群已成为了别人的集群。突然想起沙特大哥曾说过,不要采用默认端口,因为集群很多人用,容易冲突,好吧,我错了。更多文章点击这里查看原创 2016-03-11 04:37:29 · 6275 阅读 · 1 评论 -
Python & Hadoop
由于试验的需要,需要调整大量的参数,索性就采用Python写个脚本去执行hadoop命令。------------------------------------------------------------------------------------------------------------------------------Python,今天是第一次接触,按照例子写了一个执原创 2016-03-09 04:41:54 · 2173 阅读 · 1 评论 -
是什么卡住了大数据的应用?
要想考察大数据最好同时考察大数据背后的技术、商业和社会维度。从发展成熟度来看,技术维度走的最远、商业维度有所发展但不算全面成熟,社会维度发展最差。所以虽然已经谈了很久大数据,但除了孕育出大数据自身的几个领域比如搜索等,其它领域却并没有从大数据中获得可见的收益。大多时候人们还是处在觉得这里肯定有金子,但需要更多的耐心的状态。这篇文章则尝试对大数据本身的特征做点挖掘,对未来的发展趋势做点预测。转载 2016-02-22 09:59:19 · 1646 阅读 · 1 评论 -
GeoHadoop 之 Hilbert 空间填充曲线 Java 实现(二)
承接上一节,来看下做出来的效果!原创 2016-02-19 05:22:59 · 5137 阅读 · 1 评论 -
GeoHadoop 之 Hilbert 空间填充曲线 Java 实现(一)
以希尔伯特命名的数学名词多如牛毛,有些连希尔伯特本人都不知道。希尔伯特空间在很多领域都有广泛的应用。由于其强空间特性,能够保证多维相邻的空间要素在一维空间上仍然保持局部相应的空间关系,在地理领域,基于Hilbert的空间索引、空间聚类等算法非常多见。今天我们来看下Hilbert是如何来解决空间问题的。首先,来认识下老爷子吧(百度)。更多文章请点击戴维·希尔伯特(不得不承认老爷子很帅!!!!!!原创 2016-02-19 04:49:07 · 6336 阅读 · 4 评论