小刀羊-CSDN博客

原创 1、Spark如家数据实战-读取数据

准备测试数据，可以在网上寻找很容易找到，此处不提供下载。使用Spark Sql读取csv数据，Spark.read不仅提供了读取csv，还提供的json、jdbc、file等各种来源的结构化数据。Spark Sql对各种结构化数据提供各种简单的Api，省去了我们自己通过Api读取数据的过程，package com.mocker.rujiaimport org.apache.spark.sql.{SparkSession}object RuJiaApplication { def main(a

2020-07-05 23:37:05 160

原创 5、GeoTrellis-读取栅格文件

读取单波段的栅格import geotrellis.raster.io.geotiff.SinglebandGeoTiffimport geotrellis.raster.io.geotiff.reader.GeoTiffReaderobject demo4 { def main(args:Array[String]): Unit = { val geoTiff: SinglebandGeoTiff = GeoTiffReader.readSingleband("/Users/mock

2020-07-04 15:56:40 556

原创 4、GeoTrellis-核密度估值

geotrellis官方大概意思是说核密度是一种将点要素的集合（矢量数据）转换为栅格数据的一种方法，具体核密度估值的资料可以从百度上查询，我数学也一般大概知道是什么意思但也不是熟悉。从网上找的一段解释，文章来源于：http://support.supermap.com.cn/DataWarehouse/WebDocHelp/iDesktop/Features/Analyst/Raster/KernelDensityAnalysis.htm核密度分析用于计算点、线要素测量值在指定邻域范围内的单位密度。

2020-06-30 23:31:33 1371

原创 3、GeoTrellis-快速入门-邻域平均法

1、GeoTrellis-快速入门-邻域平均法栅格数据就是将空间分割成有规律的网格，每个网格作为一个单元，每一个单元的位置是由行和列定义。网格中任意一个单元都是图像中对应的一个点，网上找的一张参考图如下这里我们测试使用GeoTrellis将数组进行转成一个栅格，再进行3 * 3邻域平均法处理数据。object demo1 { def main(args:Array[String]): Unit ={ val nd= NODATA val input = Array[Int

2020-06-29 23:06:50 3254

原创 2、GeoTrellis-开发环境准备

1.GeoTrellis开发环境准备1.1.Java版本要求GeoTrellis使用的Java版本，根据官方文档写的必须要大于Java1.7以上的版本，可以用过Java -version检查你的Java版本是否符合。1.2.使用ScalaGeoTrellis是Scala的一个库，需要使用Scala开发程序，这里就不叙述Scala了，1.3.使用Maven创建项目官方是使用sbt创建项目，我个人比较喜欢用maven，这个根据自己喜好吧。这里使用idea创建项目选择创建scala项目默认创

2020-06-29 22:58:51 521

原创 1、什么是GeoTrellis？

1.什么是GeoTrellis？1.1.介绍GeoTrellis是一个scala的框架，Apache Spark使用它来处理栅格数据。GeoTrellis实现对栅格的读取、写入、操作栅格，还提供了对栅格数据处理成金字塔瓦片的支持，大数据栅格数据集的批量处理。过去的一些GIS软件如Geoserver在处理栅格数据是非常缓慢的，并且栅格数据一旦量大就无法处理。随着现在对卫星数据的需求越来越多，数据量上T都是很正常的，传统的技术已经无法支撑这个量级别的数据，使用GeoTrellis仅受Spark的性能限制，

2020-06-29 17:59:36 785

u013708580的博客