geotrellis框架sbt转投maven构建

最新推荐文章于 2023-02-07 18:02:23 发布
最新推荐文章于 2023-02-07 18:02:23 发布
阅读量1.1k 收藏 8
点赞数
分类专栏： scala 文章标签： scala geotrellis spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42997554/article/details/99676080
版权

这里写自定义目录标题

前言

最近一段时间在边学习边开发地理信息的分布式处理，接触到了geotrellis这个基于spark的分布式处理框架，使用scala语言编写，在这里首先学习他的demo:geotrellis-chatta-demo,这个demo以及整个geotrellis框架使用sbt构建，奈何本人愚钝，搞了几天没搞定sbt这个东西，愤而转投maven，在此记录

环境

java：JDK1.8
scala：2.11.12
maven：3.3.9
idea：2018.1.8 (需安装scala开发插件，度娘一下即可)

构建scala项目

  1. 新建项目
    在这里插入图片描述
  2. 选择maven在这里插入图片描述
  3. 输入scala构建骨架(版本可再高一点，本人使用此版本无恙)
    Group id :  org.scala-tools.archetypes
Artifact id : scala-archetype-simple
Version : 1.2
    在这里插入图片描述
  4. 选择使用新建的骨架
    在这里插入图片描述
  5. 输入包名和项目名
    在这里插入图片描述
  6. 配置maven
    在这里插入图片描述
  7. 更改项目文件夹名称和路径
    在这里插入图片描述
  8. 待idea完成构建后scala项目目录结构
    在这里插入图片描述

迁移geotrellis-chatta-demo代码

  1. 将代码复制到新项目所在文件夹中(idea会自动更新)
    在这里插入图片描述
  2. 复制配置文件
    在这里插入图片描述
  3. 修改pom.xml（在此展示完整的xml，改动了哪里自行比较吧）
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>io.geotrellis</groupId>
  <artifactId>geotrellis-boot</artifactId>
  <version>1.0-SNAPSHOT</version>
  <inceptionYear>2019</inceptionYear>
  <properties>
    <scala.version>2.11.12</scala.version>
  </properties>

  <repositories>
    <repository>
      <id>scala-tools.org</id>
      <name>Scala-Tools Maven2 Repository</name>
      <url>http://scala-tools.org/repo-releases</url>
    </repository>

    <!-- 添加仓库位置 -->
    <repository>
      <id>geotools</id>
      <name>geotools Repository</name>
      <url>https://repo.boundlessgeo.com/main</url>
      <releases>
        <updatePolicy>daily</updatePolicy><!-- never,always,interval n -->
        <enabled>true</enabled>
        <checksumPolicy>warn</checksumPolicy><!-- fail,ignore -->
      </releases>
      <snapshots>
        <enabled>false</enabled>
      </snapshots>
      <layout>default</layout>
    </repository>
    <repository>
      <id>geomajas</id>
      <name>geomajas Repository</name>
      <url>http://maven.geomajas.org/nexus/content/groups/public/</url>
      <releases>
        <updatePolicy>daily</updatePolicy><!-- never,always,interval n -->
        <enabled>true</enabled>
        <checksumPolicy>warn</checksumPolicy><!-- fail,ignore -->
      </releases>
      <snapshots>
        <enabled>false</enabled>
      </snapshots>
      <layout>default</layout>
    </repository>

  </repositories>

  <pluginRepositories>
    <pluginRepository>
      <id>scala-tools.org</id>
      <name>Scala-Tools Maven2 Repository</name>
      <url>http://scala-tools.org/repo-releases</url>
    </pluginRepository>
  </pluginRepositories>

  <dependencies>
    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-library</artifactId>
      <version>${scala.version}</version>
    </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.4</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.specs</groupId>
      <artifactId>specs</artifactId>
      <version>1.2.5</version>
      <scope>test</scope>
    </dependency>

    <!-- 添加依赖 -->
    <dependency>
      <groupId>org.locationtech.geotrellis</groupId>
      <artifactId>geotrellis-spark_2.11</artifactId>
      <version>2.1.0</version>
    </dependency>
    <dependency>
      <groupId>org.locationtech.geotrellis</groupId>
      <artifactId>geotrellis-raster_2.11</artifactId>
      <version>2.1.0</version>
    </dependency>
    <dependency>
      <groupId>org.locationtech.geotrellis</groupId>
      <artifactId>geotrellis-spark-etl_2.11</artifactId>
      <version>2.0.1</version>
    </dependency>
    <dependency>
      <groupId>org.locationtech.geotrellis</groupId>
      <artifactId>geotrellis-cassandra_2.11</artifactId>
      <version>2.0.1</version>
    </dependency>
    <dependency>
      <groupId>com.typesafe.akka</groupId>
      <artifactId>akka-actor_2.11</artifactId>
      <version>2.4.17</version>
    </dependency>
    <dependency>
      <groupId>com.typesafe.akka</groupId>
      <artifactId>akka-http-core_2.11</artifactId>
      <version>10.0.3</version>
    </dependency>
    <dependency>
      <groupId>com.typesafe.akka</groupId>
      <artifactId>akka-http_2.11</artifactId>
      <version>10.0.3</version>
    </dependency>
    <dependency>
      <groupId>com.typesafe.akka</groupId>
      <artifactId>akka-http-spray-json_2.11</artifactId>
      <version>10.0.3</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.11</artifactId>
      <version>2.3.0</version>
    </dependency>

  </dependencies>

  <build>

    <resources>
      <resource>
        <directory>src/main/scala</directory>
        <excludes>
          <exclude>**/*.scala</exclude>
        </excludes>
      </resource>
    </resources>

    <sourceDirectory>src/main/scala</sourceDirectory>
    <testSourceDirectory>src/test/scala</testSourceDirectory>
    <plugins>
      <plugin>
        <groupId>org.scala-tools</groupId>
        <artifactId>maven-scala-plugin</artifactId>
        <executions>
          <execution>
            <goals>
              <goal>compile</goal>
              <goal>testCompile</goal>
            </goals>
          </execution>
        </executions>
        <configuration>
          <scalaVersion>${scala.version}</scalaVersion>
          <args>
            <arg>-target:jvm-1.8</arg>
          </args>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-eclipse-plugin</artifactId>
        <configuration>
          <downloadSources>true</downloadSources>
          <buildcommands>
            <buildcommand>ch.epfl.lamp.sdt.core.scalabuilder</buildcommand>
          </buildcommands>
          <additionalProjectnatures>
            <projectnature>ch.epfl.lamp.sdt.core.scalanature</projectnature>
          </additionalProjectnatures>
          <classpathContainers>
            <classpathContainer>org.eclipse.jdt.launching.JRE_CONTAINER</classpathContainer>
            <classpathContainer>ch.epfl.lamp.sdt.launching.SCALA_CONTAINER</classpathContainer>
          </classpathContainers>
        </configuration>
      </plugin>
    </plugins>
  </build>
  <reporting>
    <plugins>
      <plugin>
        <groupId>org.scala-tools</groupId>
        <artifactId>maven-scala-plugin</artifactId>
        <configuration>
          <scalaVersion>${scala.version}</scalaVersion>
        </configuration>
      </plugin>
    </plugins>
  </reporting>
</project>
  1. 修改配置文件（路径使用斜杠：/）
    在这里插入图片描述
    在这里插入图片描述

ETL工具金字塔建模

  1. 规避错误
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  2. 需要金字塔建模的tif在demo中的路径
    在这里插入图片描述
  3. 修改input.json
    在这里插入图片描述
  4. 修改output.json
    在这里插入图片描述
  5. 修改ChattaIngest类并启动创建
object ChattaIngest extends App {
  val arg = Array[String](
    "--input",
    "D:\\data\\input.json",
    "--output",
    "D:\\data\\output.json",
    "--backend-profiles",
    "D:\\data\\backend-profiles.json"
  );

//  implicit val sc = SparkUtils.createSparkContext("GeoTrellis ETL SinglebandIngest", new SparkConf(true))
  implicit val sc = SparkUtils.createLocalSparkContext("local[*]",
    "GeoTrellis ETL SinglebandIngest", new SparkConf(true))

  try {
    Etl.ingest[ProjectedExtent, SpatialKey, Tile](arg)
  } finally {
    sc.stop()
  }
}

启动项目

在这里插入图片描述
查看
在这里插入图片描述

代码地址

https://gitee.com/XiaoSa12138/geotrellis-chatta-demo

洋洋代码
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
java下载google切片地图
01-05
java程序下载google影像图，代码下载粘贴就可以使用，下载格式为瓦片资源，可以用nginx代理为离线地图服务。
TOP 20 Maven 仓库地址
superbeyone
12-31 506
TOP 20 Maven 仓库地址 <repositories> <repository> <id>ali</id> <name>ali repository</name> <url>http://maven.aliyun.com/nexus/...
JTS使用笔记
kaiyuantao的专栏
02-07 2984
JTS使用笔记 九交模型 com.vividsolutions.jts
解决maven找不到jar包的问题
nickDaDa的博客
04-22 6222
在做geojson转换wkt格式时遇到困难，经查找gt-geojson.jar可以满足需求，但是配置了pom文件，报找不到jar包，missing artifact的错误。 pom依赖配置如下： <dependencies> <dependency> <groupId>org.locationtech.jts</groupId> ...
解决maven本地仓库有jar包但是还会打包报错的问题
zf04295的博客
10-27 1450
org.geotools gt-metadata 8.4 在maven上找到对应资源 点 复制地址，在pom文件中配置： geomajas geomajas http://maven.geomajas.org/ 再次执行package命令，打包成功
maven2sbt：一种将pom.xml转换为build.sbt的工具
02-04
在Java生态系统中，Maven是最广泛使用的构建工具之一，而Scala社区则倾向于使用sbt（Simple Build Tool）进行项目管理。本文将深入探讨“maven2sbt”这一实用工具，它能将基于Maven的pom.xml配置文件转换为适用于sbt...
SBT ivy2 scala构建工具boot包
08-28
Ivy2 在这里的作用是管理项目依赖，它可以从 Maven 中央仓库或其他指定的仓库下载所需的库，并将其组织到本地缓存中，供 SBT 在构建过程中使用。 标签中的“SBT”是 Scala Build Tool 的缩写，它是 Scala 开发者...
IntelliJ IDEA中Scala、sbt、maven配置教程
09-07
sbt是Scala项目的主要构建工具，提供了与Maven类似的依赖管理和构建功能。首先，同样在IntelliJ IDEA的插件市场中搜索并安装sbt插件。然后，需要下载并安装sbt，从官方网站(https://www.scala-sbt.org/download.html...
sbt：sbt，交互式构建工具
02-05
sbt sbt是用于Scala，Java等的构建工具。 有关常规文档，请参见 。sbt 1.x 这是sbt的1.x系列。 sbt的源代码分布在多个GitHub存储库中，包括该存储库。 托管sbt.io模块。 托管包装Ivy的sbt.librarymanagement模块。 ...
sbt-compiler-maven-plugin:SBT编译器Maven插件
04-30
SBT（Simple Build Tool）编译器Maven插件是一个强大的工具，专为那些希望在Maven构建系统中利用SBT的功能的Java开发者设计。它提供了与标准Maven编译插件不同的选择，使得在Maven项目中进行Scala或Java开发变得更加...
java8看不到源码-geotrellis:使用geotrellis进行空间数据分析
06-04
java8 看不到源码 利用从内部读取、写入、操作和分析空间数据。 该软件包是作为概念证明而开发的，以确定是否可以利用它为处理空间数据集提供更高的性能。 一般来说，这个包似乎与 相媲美，但在大多数情况下几乎没有好处。 我不会推荐这个包进行任何真正的分析。 安装 此软件包需要 Java 版本 8。使用以下系统命令javac -version检查您安装的版本。 如果您看到1.8.0+那么您就可以开始了。 否则，您需要更新 Java。 请注意，这可能会导致计算机上安装的其他程序出现问题。 这样做的风险由您自己承担。 使用以下系统命令在 Ubuntu (14.04 LTS) 上更新 Java： echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 642AC823 sudo apt-get update sudo apt-get i
GeoTrellis使用初探
lbq15735104044的博客
12-11 905
概述 进行到该阶段，我们假设您已经完成了geotrellis 版本选型和环境搭建；熟悉本公司的大数据架构原理；初步了解了geotrellis，并且在开发环境中构建了geotrellis配置；可以参考官方文档和有关资料，运行其给出的demo示例，那么恭喜您，可以愉快地进入该阶段。 如果您未经历或完成上述阶段，请参考公司相关文档: 《geotrellis 版本选型和环境搭建》 《飞未...
Geotrellis核心概念
luoye4321的专栏
07-24 912
1、名词概念 1）矢量或几何（Vector or Geometry）：通过连接空间中的点而建立的结构，包括点、线、面结构 2）范围或边界（Extent or Bounding Box）：轴对齐的矩形区域 3）要素（Feature）：带有元数据信息的的几何要素 4）单元格（Cell）:栅格数据的单个数据单元 5）瓦片（Tile）:或者叫切片，栅格数据切割后的瓦片数据。 6）RDD：弹性分布式数据集，这里主要是带有Tile数据的RDD，用户栅格的分布式处理 7）键值（Key）:用来创建索引 8）
JAVA 通过wContour和geotools实现等值面分析、裁切、出图
qq_34447899的博客
12-31 7733
最近需要在用java来分析数据生成等值面图片，在网上搜索各路资料后自己再修修改改搞定了。 在这里总结分享一下。
Geotrellis系列文章
HuFeiHu
01-15 3087
一、geotrellis使用初探 二、geotrellis使用（二）geotrellis-chatta-demo以及geotrellis框架数据读取方式初探 三、geotrellis使用（三）geotrellis数据处理过程分析 四、geotrellis使用（四）geotrellis数据处理部分细节 五、geotrellis使用（五）使用scala操作Accumulo 六、geotrellis使用...
三. geotrellis使用 geotrellis数据处理过程分析
GIS摆渡人
05-18 848
之前简单介绍了geotrellis的工作过程以及一个简单的demo，最近在此demo的基础上实现了SRTM DEM数据的实时分析以及高程实时处理，下面我就以我实现的上述功能为例，简单介绍一下geotrellis的数据处理过程。 一、原始数据处理 geotrellis支持geotiff的栅格数据（矢量数据还未研究），可以将geotiff直接缓存至hadoop框架下的Accumulo NOSQL数据库，并建立金字塔等，具体处理过程在geotrellis.spark.etl.E...
12. GeoTrellis数据输出篇之输出COG到本地文件系统
GIS摆渡人
09-26 226
一.简介 工程介绍 保存cog时，读取类型multibandTile时，报错java堆溢出，改用tile测试通过，貌似需要调大 java堆溢出size 读取cog图层，图层读取成功，读取瓦片时url解析瓦片地址报url错误，感觉是geotrellis bug 我的geotrellis版本为 2.1.0，后面打算再高版本上测试 cog 目前读写支持s3,hdfs,local file 三种平台，这里用得是第一种 方式,也支持通过HadoopCogLayerWriter，S3CogLayerWriter,Ha
三十. geotrellis使用 使用geotrellis读取PostGIS空间数据
GIS摆渡人
05-21 403
前言 最近事情很多，各种你想不到的事情——such as singing and dancing——再加上最近又研究docker上瘾，所以geotrellis看上去似乎没有关注，其实我一直在脑中思考着geotrellis。之前看geotrellis源码看到有关geotrellis.slick的相关部分，仅大概浏览了一番，知道是用于读取PostGIS数据库的，未做深入研究，又恰巧前几日有老外在gitter上问了如何读取PostGIS数据库，我当时回答他可以用传统的JDBC方...
Geotrellis学(踩)习(坑)笔记（四）——ETL工具
黑马程序员广州中心的专栏
11-29 474
看官方文档的时候看到geotrellis工具有一个看上去很强大的ETL工具，但是看了好几次都看不明白他到底是干什么的，理解和跑通ETL是一个超级曲折艰难的过程。这篇文章就来记录一下ETL的曲折过程~首先ETL是个啥？？参考资料：https://docs.microsoft.com/en-us ... relational-data/etlExtract, transform, and loa...
scala、sbt、maven配置教程
最新发布
09-04
Scala是一种运行在Java虚拟机上的编程语言，具有面向对象和函数式编程的特性。要进行Scala的开发，首先需要配置好开发环境。 首先，需要安装Java开发工具包（JDK）。可以从Oracle官网下载并按照指示进行安装。安装完成后，可以通过在命令行中输入java -version来检查是否安装成功。 接下来，需要安装Scala编译器。可以从Scala官网下载并按照指示进行安装。完成后，同样可以通过在命令行中输入scala -version检查是否安装成功。 为了方便管理项目依赖和构建项目，可以选择使用sbt或者maven。下面分别介绍它们的配置教程。 对于sbt的配置，首先需要下载并安装sbt。可以从sbt官网下载并安装。安装完成后，可以在命令行中输入sbt来验证是否安装成功。 创建一个新项目时，需要在项目根目录中创建一个build.sbt文件。在该文件中，可以指定项目的名称、版本号、依赖项等信息。 对于maven的配置，首先需要下载并安装maven。可以从maven官网下载并安装。安装完成后，同样可以在命令行中输入mvn来验证是否安装成功。 创建一个新项目时，需要在项目根目录中创建一个pom.xml文件。在该文件中，可以指定项目的名称、版本号、依赖项等信息。 以上是关于Scala、sbt和maven的配置教程的简单介绍。具体的配置细节和更多使用方法，可以参考官方文档或者在线教程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值