SuperMap 基于Spark的大数据分析基础环境安装及空间大数据分析实验

已于 2023-11-24 10:44:35 修改
阅读量792 收藏 1
点赞数
分类专栏： SuperMap 文章标签： spark
于 2023-01-13 14:53:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41134073/article/details/128665188
版权

本文主要记录SuperMap 基于Spark的分布式空间分析功能，在分析功能之前，会先安装Spark分布式环境。
Hadoop环境是Spark安装的前置环境，所以会先安装Hadoop，再安装Spark。
持续更新中…

SuperMap Hadoop3.3 + Spark3.3

1. Hadoop

1.1. 安装前环境准备

在安装hadoop之前，必须安装java，haadoop所支持的java版本如下：

Apache Hadoop 3.3及以上版本支持Java 8和Java 11(仅运行时)
请用Java 8编译Hadoop。不支持使用Java 11编译Hadoop: Hadoop -16795 - Java 11编译支持OPEN
Apache Hadoop 3.0版。X到3.2。x现在只支持Java 8
Apache Hadoop从2.7。X到2.10。x同时支持Java 7和Java 8

这里以安装java8为例，java包下载不再详细描述。

# 解压
[root@VM-4-16-centos java]# tar -zxvf jdk-8u351-linux-x64.tar.gz 
# 配置java环境变量
[root@VM-4-16-centos jdk1.8.0_351]# vim /etc/profile
[root@VM-4-16-centos jdk1.8.0_351]# more /etc/profile | grep export
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL
# 添加JAVA_HOME环境
export JAVA_HOME=/data/java/jdk1.8.0_351
export PATH=$PATH:$JAVA_HOME/bin
# 验证环境
[root@VM-4-16-centos jdk1.8.0_351]# java -version
java version "1.8.0_351"
Java(TM) SE Runtime Environment (build 1.8.0_351-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.351-b10, mixed mode)

1.2. 下载安装

注： 下载之前先确认好要安装的spark版本，根据spark版本选择合适的hadoop版本。

apach官网下载速度限制，建议使用国内镜像下载地址：清华大学
下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/

# 下载
[root@VM-4-16-centos hadoop]# wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.3.4.tar.gz --no-check-certificate
# 解压
[root@VM-4-16-centos hadoop]# tar -zxvf hadoop-3.3.4.tar.gz
# 配置hadoop环境变量
[root@VM-4-16-centos bin]# vim /etc/profile
[root@VM-4-16-centos bin]# more /etc/profile | grep HADOOP
export HADOOP_HOME=/data/hadoop/hadoop-3.3.4
# export HADOOP_INSTALL=$HADOOP_HOME
# export HADOOP_MAPRED_HOME=$HADOOP_HOME
# export HADOOP_HDFS_HOME=$HADOOP_HOME
# export HADOOP_COMMON_HOME=$HADOOP_HOME
# export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:HADOOP_HOME/sbin:$HADOOP_HOME/bin
# 刷新shell环境使配置生效
[root@VM-4-16-centos bin]# source /etc/profile
# 检查hadoop安装是否成功
[root@VM-4-16-centos bin]# hadoop version
Hadoop 3.3.4
Source code repository https://github.com/apache/hadoop.git -r a585a73c3e02ac62350c136643a5e7f6095a3dbb
Compiled by stevel on 2022-07-29T12:32Z
Compiled with protoc 3.7.1
From source with checksum fb9dd8918a7b8a5b430d61af858f6ec
This command was run using /data/hadoop/hadoop-3.3.4/share/hadoop/common/hadoop-common-3.3.4.jar

1.3. 集群部署

集群环境服务器个数推荐使用奇数（zk集群为了防止脑裂，默认采用Quorums法定人数方式 ，即只有集群中超过半数节点投票才能选举出Leader。比如3台服务器，Quorums = 2, 也就是说集群可以容忍1个节点失效，这时候还能选举出1个 lead，集群还可用，则可容错为1台。4台的Quorums = (4/2) + 1 ，集群的容忍度还是1台。集群服务器数量大的情况下可采用Weight方式）

1.3.1 安装前网络环境准备工作

Hadoop集群部署之前，请做好网络规划，参与集群的服务器需要配置网络映射、免密登录、关闭防火墙并做好时间同步。网络环境配置请参考：
https://blog.csdn.net/qq_41134073/article/details/128094438

1.3.2 安装JDK

JDK安装请参考上面，在三台服务器都安装好

1.3.3 安装Zookeeper集群

Zookeeper是一个分布式的、开源的分布式应用程序协调服务，是Hadoop和HBase的重要组件，起到桥接作用，相当于一个监控器组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
Zookeeper在集群中的作用是负责管理集群中包括：namenode,ReduceManger的主备切换作用，以及一些分布式组件的配置信息和状态信息，还提供发布/订阅功能，其主要目的是在Zookeeper集群上通过创建znode节点记录集群中的一些位置信息、状态信息的变化，然后通过zookeeper的watcher机制把变化的节点中的内容通知到客户端，然后客户端从hadoop集群中的hdfs上下载内容到客户端并显示出来。zookeeper还负责监控集群的namenode状态。

Zookeeper的基本运转流程

  • 选举Leader
  • 同步数据
  • 选举Leader过程中算法有很多，但要达到的选举标准是一致的
  • Leader要具有最高的执行ID，类似root权限
  • 集群中大多数的机器得到响应并接受选出的Leader

下载

Zookeeper安装的时候不需要考虑兼容性，官网下载最新稳定版即可。下载地址：https://zookeeper.apache.org/releases.html
在这里插入图片描述

[root@VM-4-16-centos zookeeper]# wget https://dlcdn.apache.org/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz --no-check-certificate

安装

# 解压
[root@VM-4-16-centos zookeeper]#  tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz
[root@VM-4-16-centos zookeeper]#  mv apache-zookeeper-3.7.1-bin zookeeper
# 配置环境变量
[root@VM-4-16-centos zookeeper]# vim /etc/profile
[root@VM-4-16-centos zookeeper]# more /etc/profile | grep ZOOKEEPER
export ZOOKEEPER_HOME=/data/zookeeper/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
# 修改配置文件
[root@VM-4-16-centos zookeeper]# cd /data/zookeeper/zookeeper/conf/
[root@VM-4-16-centos conf]# ls
configuration.xsl  log4j.properties  zoo_sample.cfg
[root@VM-4-16-centos conf]# mv zoo_sample.cfg zoo.cfg
[root@VM-4-16-centos conf]# vim zoo.cfg 
[root@VM-4-16-centos conf]# more zoo.cfg | grep zookeeper
dataDir=/data/zookeeper/zookeeper/data
dataLogDir=/data/zookeeper/zookeeper/log
[root@VM-4-16-centos zookeeper]# mkdir -p log data
[root@VM-4-16-centos zookeeper]# ls
bin  conf  data  docs  lib  LICENSE.txt  log  NOTICE.txt  README.md  README_packaging.md
# 修改zoo.cfg,添加服务器标识，server.1 中的1 标识服务器，可以是任意有效数字，标识是第几个服务器，这个标识要写入dataDir的myid文件夹，2777:3888一个是集群通讯端口，一个是选举端口
[root@VM-4-16-centos zookeeper]# vim conf/zoo.cfg 
[root@VM-4-16-centos zookeeper]# more conf/zoo.cfg 
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/data/zookeeper/zookeeper/data
dataLogDir=/data/zookeeper/zookeeper/log
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
server.1=sleve1:2777:3888
server.2=sleve2:2777:3888
server.3=master:2777:3888

# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

## Metrics Providers
#
# https://prometheus.io Metrics Exporter
#metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
#metricsProvider.httpPort=7000
#metricsProvider.exportJvmInfo=true

# 在dataDir下写入集群服务节点标识，Zookeeper集群通过myid文件识别集群节点，并通过配置的节点通信端口和选举端口来进行节点通信，选举出Leader节点
[root@VM-4-16-centos zookeeper]# echo "1" > /data/zookeeper/zookeeper/data/myid
[root@VM-4-16-centos zookeeper]# more data/myid 
1

启动集群

[root@VM-4-16-centos ~]# cd /data/zookeeper/zookeeper/bin/
# 启动zookeeper
[root@VM-4-16-centos bin]# ./zkServer.sh 
# 检查zookeeper状态
[root@VM-4-16-centos bin]# zkServer.sh status

1.3.4 安装Hadoop集群

2.Scala

Spark 采用Scala语言开发。

2.1 下载安装

# 下载scala安装包：
[root@VM-4-16-centos scala]# wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz
# 解压
[root@VM-4-16-centos scala]# tar -zxvf scala-2.11.8.tgz 
# 配置环境变量
[root@VM-4-16-centos scala-2.11.8]# vim /etc/profile
[root@VM-4-16-centos scala-2.11.8]# more /etc/profile | grep SCALA
export SCALA_HOME=/data/scala/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
# 刷新系统环境变量
[root@VM-4-16-centos scala-2.11.8]# source /etc/profile
# 输入scala 测试是否配置成功
[root@VM-4-16-centos scala-2.11.8]# scala
Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_351).
Type in expressions for evaluation. Or try :help.

scala>

3. Spark

3.1. 单节点安装

下载地址：https://dlcdn.apache.org/spark/spark-3.3.1/spark-3.3.1-bin-hadoop3-scala2.13.tgz

# 下载
[root@VM-4-16-centos hadoop]# wget https://dlcdn.apache.org/spark/spark-3.3.1/spark-3.3.1-bin-hadoop3-scala2.13.tgz
# 解压
[root@VM-4-16-centos hadoop]# tar -zxvf spark-3.3.1-bin-hadoop3-scala2.13.tgz
# 修改文件名
[root@VM-4-16-centos hadoop]# mv spark-3.3.1-bin-hadoop3-scala2.13.tgz spark
# 配置环境变量
[root@VM-4-16-centos bin]# vim /etc/profile
[root@VM-4-16-centos bin]# more /etc/profile | grep SPARK
# 添加spark环境变量
export SPARK_HOME=/data/spark/spark
export PATH=$PATH:$SPARK_HOME/bin
# 刷新系统环境变量
[root@VM-4-16-centos bin]# source /etc/profile
[root@VM-4-16-centos spark]# spark-shell 
23/01/13 14:47:14 WARN Utils: Your hostname, VM-4-16-centos resolves to a loopback address: 127.0.0.1; using 10.0.4.16 instead (on interface eth0)
23/01/13 14:47:14 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 3.3.1
      /_/
         
Using Scala version 2.13.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_351)
Type in expressions to have them evaluated.
Type :help for more information.
23/01/13 14:47:22 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Spark context Web UI available at http://10.0.4.16:4040
Spark context available as 'sc' (master = local[*], app id = local-1673592444274).
Spark session available as 'spark'.

scala>

浏览器访问4040端口验证：
在这里插入图片描述

3.2. 安装Spark集群

4. SuperMap iObject for Spark

SuperMap iObjects for Spark 是超图空间大数据GIS组件包，是基于Spark大数据技术基础至上，将GIS技术及其能力与大数据技术进行深度融合，作为连接大数据与GIS行业应用的中间桥梁。

5. SuperMap iServer GPA 自动化处理

SuperMap iServer 内置了处理建模器，用于可视化构建处理自动化模型。通过建模器，可以快速构建大数据空间数据处理模型。
通过iServer的处理自动化服务进入处理建模器页面：
在这里插入图片描述

处理建模器页面如下：
在这里插入图片描述

会灭火的程序员
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
​终于有人把Spark大数据分析与挖掘讲明白了
fengdu78的博客
07-23 1720
当我们每天面对扑面而来的海量数据时，是战斗还是退却，是去挖掘其中蕴含的无限资源，还是让它们自生自灭？我们的答案是：“一切都取决于你自己”。对于海量而庞大的数据来说，在不同人眼里，既可以是一座亟待销毁的垃圾场，也可以是一个埋藏有无限珍宝的金银岛，这一切都取决于操控者的眼界与能力。本书的目的就是希望所有的大数据技术人员都有这种挖掘金矿的能力！大数据时代什么是“大数据”？一篇名...
spark 大数据分析
02-21
spark 大数据分析，详细描述了spark用于大数据分析的流程，及其相关技术
Spark大数据处理与分析
Xiaozou_Q的博客
03-06 1208
当子RDD的某一个分区的数据丢失时，若是窄依赖，只需重算和该分区对应的父RDD分区即可，而宽依赖则可能需要重算父RDD的所有分区。1.运行模式多样，可运行于独立的集群模式，Hadoop，Amazon EC2等云环境中，并且可以访问HDFS，Cassandra，HBase，HIve等多种数据源。宽依赖是指，父RDD的一个分区被子RDD的多个分区所用。现有容错机制：数据复制或者记录日志RDD具有天生的容错性：血缘关系，重新计算丢失分区，无需回滚系统，重算过程在不同节点之间并行，只记录粗粒度的操作。
spark大数据分析（一）
zhouxiaowu
11-02 1002
RDD 编程 RDD基础 spark对数据的核心抽象——弹性分布式数据集（Resilient Distributed Dataset，简称RDD），RDD是分布式元素的集合。在spark中，对数据的操作有创建RDD、转化RDD、action RDD；RDD是一个不可变的分布式对象集合，每个RDD都被分为多个分区，这些分区运行在集群中的不同节点上，rdd可以包含python、java、scala中的
SuperMap iObjects Java组件开发——环境部署（IntelliJ IDEA）
SuperMap技术控
10-17 746
SuperMap iObjects Java 是面向GIS应用系统开发者的组件式GIS开发平台，具有强大的地理数据管理、编辑、显示、分析等功能，并且其具有极强的易用性和丰富的帮助资源，适宜快速开发大型GIS应用系统。本文将介绍如何在IntelliJ IDEA集成开发环境中进行SuperMap iObjects Java组件的环境部署。
大数据 - Spark介绍和环境搭建
林元煌
03-11 2612
Spark简单介绍、本地运行模式 （单机）和spark standalone集群搭建
基于SuperMap的空间大数据可视化技术研究与应用.pdf
05-13
基于SuperMap的空间大数据可视化技术研究与应用，superMap的应用
SuperMap空间数据处理
08-07
SuperMap空间数据处理。坐标系与投影转换、叠加分析、网络分析、GIS数据的空间插值处理、缓冲区分析、服务区分析、空间数据入库、矢量图幅接边、矢量、栅格数据互转、矢量数据编辑、DEM构建、三维虚拟现实。
SuperMap空间数据制图汇总
11-13
SuperMap空间数据制图汇总。包含：地图制图、填挖方分析、地图符号制作、通视分析、三维晕渲图、坡度、坡向分析、剖面分析、地图布局输出。
SuperMap iMobile 8C for Android数据的叠加分析
12-15
该范例主要实现数据的叠加分析中的数据集之间的裁剪、擦除和合并。
SuperMap iDesktop基础教程练习数据.rar
05-22
本数据为SuperMap iDesktop基础教程的章节后练习数据
Spark大数据分析：核心概念技术及实践
12-05
Spark大数据分析：核心概念技术及实践
spark大数据处理
11-22
讲述了使用scala开发spark的相关教程，可谓深入浅出。值得学习
基于SuperMap Objects的大比例尺基础地理信息数据库管理系统的建立与实现
07-12
目前利用GIS技术建立基础地理信息数据库管理系统,在测绘行业已得到广泛应用,但在大比例尺基础地理数据库建设与应用中数据的更新机制、控制资料的管理、历史库存储机制以及通过程序实现空间数据的符号化方面的研究很...
Spark数据分析
superY_26的博客
01-17 3135
在互联网如此发达的今天，每天都有海量的数据产生。通过对这些的数据进行分析，我们可以挖掘出数据中的很多信息，从而获取商业价值。 面对如此海量的数据，一般的统计分析技术是无法胜任的，需要使用专门的大数据分析技术。今天我们介绍目前最为流行的数据处理技术—Apache Spark。Spark是一款支持多语言的，为大规模分布式数据处理而设计的一站式引擎，它整合了各种上层库，比如用于机器学习的MLlib、提供交互式查询功能的Spark SQL、支持操作实时数据的流处理库Structured Streaming，以及图计
Spark快速大数据分析（一）
热门推荐
zhuzi51的专栏
11-16 1万+
楔子 Spark快速大数据分析 前3章内容，仅作为学习，有断章取义的嫌疑。如有问题参考原书 Spark快速大数据分析 以下为了打字方便，可能不是在注意大小写 1 Spark数据分析导论 1.1 Spark是什么 Spark是一个用来实现快速而通用的集群计算的平台。 在速度方面，Spark扩展了广泛使用的MapReduce计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。在处...
【大数据分析】Spark介绍
sword_csdn的博客
11-17 7067
这里写自定义目录标题关于Spark的几个概念新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 关于Spark的几......
浅析spark快速大数据分析
yuuEva的博客
09-07 577
　　Spark是一种流行的大数据集群计算框架，通常被大数据工程师，大数据科学家和大数据分析师用于各种用例。根据情况的不同，每种用户类型都将要求一定范围的数据访问权限。与其他像Presto这样具有内置授权框架和细粒度访问控制的大数据引擎不同，Spark可以直接访问Qubole Metastore(利用Apache Hive)中存储的所有表和资源。这不仅带来安全问题，而且阻碍了增长和企业采用。因此，我们很有必要在Qubole平台上引入新的Spark数据访问控制框架。 　　一、目标 　　1、这些是介绍Spar
supermap栅格空间分析
最新发布
04-27
SuperMap栅格空间分析是指在SuperMap GIS平台上进行的基于栅格数据的空间分析操作。栅格数据是由像素组成的二维网格数据，每个像素都有一个特定的值，可以表示地理现象的属性或者状态。栅格空间分析主要包括以下几个方面的功能： 1. 栅格数据处理：包括栅格数据的导入、导出、转换、重采样等操作，可以对栅格数据进行预处理和格式转换。 2. 栅格数据计算：可以进行栅格数据之间的代数运算、逻辑运算、统计运算等，例如栅格数据的加减乘除、逻辑与或非运算、最大最小值提取等。 3. 栅格数据分析：可以进行栅格数据的空间分析，例如栅格数据的叠加分析、缓冲区分析、邻域分析、栅格转矢量分析等。 4. 栅格数据建模：可以基于栅格数据进行建模和模拟，例如地形建模、水文模拟、生态模拟等。 5. 栅格数据可视化：可以对栅格数据进行可视化展示，例如栅格数据的渲染、颜色映射、图层叠加等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会灭火的程序员

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值