GeoMesa-Hbase单机环境安装

最新推荐文章于 2022-10-25 08:35:59 发布
最新推荐文章于 2022-10-25 08:35:59 发布
阅读量563 收藏 4
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43075247/article/details/113726437
版权
该文详细介绍了在单机环境中安装GeoMesa-Hbase的步骤，包括Zookeeper、Hbase的配置，以及GeoMesa-Hbase的安装和依赖设置。最后通过运行验证示例，展示了数据的写入和查询操作，成功返回了查询结果。
摘要由CSDN通过智能技术生成

GeoMesa-Hbase单机环境安装

1.安装前准备

软件准备

  • apache-zookeeper-3.5.7-bin.tar.gz
  • hbase-2.3.4-bin.tar.gz
  • geomesa-hbase_2.11-3.1.0-bin.tar.gz
  • geomesa-tutorials-hbase-quickstart-3.2.0-SNAPSHOT.jar

修改主机名称

hostnamectl set-hostname master

vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.106 master

2.安装zookeeper

1.解压文件

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /usr/local/

2.修改配置文件

cd /usr/local/zookeeper
cp -r zoo.sample.cfg zoo.cfg
vi zoo.cg

添加如下配置：

dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/log

3.启动zookeeper

cd /usr/local/zookeeper/bin
./zkServer.sh start

3.安装Hbase

1.解压文件

tar -zxvf hbase-2.3.4-bin.tar.gz -C /usr/local/

2.修改配置文件

cd /usr/local/hbase-2.3.4/conf/
vi hbase-env.sh

添加如下配置：

export JAVA_HOME=/usr/local/jdk1.8.0_221
export HBASE_MANAGES_ZK=false  #启用外部zookeeper

编辑hbase-site.xml:

<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>./tmp</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
  <property>
    <name>hbase.rootdir</name>
    <value>file:///usr/local/hbase-2.3.4/rootdir</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/usr/local/zookeeper/data</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>localhost</value>
  </property>
  <!-- ZooKeeper存储hbase数据的节点名称 -->
  <property>
    <name>zookeeper.znode.parent</name>
    <value>/hbase</value>
  </property>
  <property>  
    <name>hbase.coprocessor.user.region.classes</name>  
    <value>org.locationtech.geomesa.hbase.server.coprocessor.GeoMesaCoprocessor</value>  
  </property>

3.配置环境变量： vi /etc/profile

#Set Java Enviornment
export JAVA_HOME=/usr/local/jdk1.8.0_221
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#Set Hadoop Enviornment
export HADOOP_HOME=/usr/local/hadoop-2.8.5
PATH=$PATH:$HOME/.local/bin:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH

export HBASE_HOME=/usr/local/hbase-2.3.4
export PATH=$PATH:$HBASE_HOME/bin

export GEOMESA_HBASE_HOME=/usr/local/geomesa-hbase_2.11-3.1.0
export PATH=$PATH:$GEOMESA_HBASE_HOME/bin

4.安装geomesa-hbase

1.解压文件

tar -zxvf geomesa-hbase_2.11-3.1.0-bin.tar.gz -C /usr/local/

2.安装依赖

cd /usr/local/geomesa-hbase_2.11-3.1.0/bin
 ./install-dependencies.sh

3.拷贝jar包至hbase lib安装目录下

cp -r /usr/local/geomesa-hbase_2.11-3.1.0/dist/hbase/geomesa-hbase-distributed-runtime-hbase2_2.11-3.1.0.jar /usr/local/hbase-2.3.4/lib/

5.验证安装

1.启动hbase

start-hbse.sh
java -cp geomesa-tutorials-hbase-quickstart-3.2.0-SNAPSHOT.jar org.geomesa.example.hbase.HBaseQuickStart --hbase.zookeepers localhost --hbase.catalog test_liutao

2.成功信息如下所示

Loading datastore
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Creating schema: GLOBALEVENTID:String,Actor1Name:String,Actor1CountryCode:String,Actor2Name:String,Actor2CountryCode:String,EventCode:String,NumMentions:Integer,NumSources:Integer,NumArticles:Integer,ActionGeo_Type:Integer,ActionGeo_FullName:String,ActionGeo_CountryCode:String,dtg:Date,geom:Point:srid=4326

Generating test data

Writing test data
Wrote 2356 features

Running query BBOX(geom, -120.0,30.0,-75.0,55.0) AND dtg DURING 2017-12-31T00:00:00+00:00/2018-01-02T00:00:00+00:00
01 719026370=719026370|MEXICO|MEX|UNITED STATES|USA|193|4|1|4|3|Imperial Beach, California, United States|US|2018-01-01T00:00:00.000Z|POINT (-117.113 32.5839)
02 719025493=719025493|CIVILIAN||||013|5|1|5|3|San Diego, California, United States|US|2018-01-01T00:00:00.000Z|POINT (-117.157 32.7153)
03 719025402=719025402|POLICE||||112|5|1|5|3|Camp Pendleton, California, United States|US|2018-01-01T00:00:00.000Z|POINT (-117.393 33.2103)
04 719027018=719027018|UNITED STATES|USA|||190|2|1|2|3|Camp Pendleton, California, United States|US|2018-01-01T00:00:00.000Z|POINT (-117.393 33.2103)
05 719026757=719026757|RUSSIA|RUS|UKRANIAN||042|2|1|2|3|Irvine, California, United States|US|2018-01-01T00:00:00.000Z|POINT (-117.823 33.6695)
06 719027129=719027129|UNITED STATES|USA|ISRAELI|ISR|145|1|1|1|3|Irvine, California, United States|US|2018-01-01T00:00:00.000Z|POINT (-117.823 33.6695)
07 719027131=719027131|UNITED STATES|USA|ISRAEL|ISR|145|2|1|2|3|Irvine, California, United States|US|2018-01-01T00:00:00.000Z|POINT (-117.823 33.6695)
08 719026319=719026319|SENATOR||UNITED STATES|USA|051|2|1|2|2|Texas, United States|US|2018-01-01T00:00:00.000Z|POINT (-97.6475 31.106)
09 719027007=719027007|MASSACHUSETTS|USA|||172|7|1|4|2|Texas, United States|US|2018-01-01T00:00:00.000Z|POINT (-97.6475 31.106)
10 719027101=719027101|MICHIGAN|USA|UNIVERSITY||084|20|2|20|2|Texas, United States|US|2018-01-01T00:00:00.000Z|POINT (-97.6475 31.106)

Returned 669 total features

Running query BBOX(geom, -120.0,30.0,-75.0,55.0) AND dtg DURING 2017-12-31T00:00:00+00:00/2018-01-02T00:00:00+00:00
Returning attributes [GLOBALEVENTID, dtg, geom]
01 719025273=719025273|2018-01-01T00:00:00.000Z|POINT (-75.7 45.4167)
02 719025300=719025300|2018-01-01T00:00:00.000Z|POINT (-75.7 45.4167)
03 719025742=719025742|2018-01-01T00:00:00.000Z|POINT (-117.157 32.7153)
04 719025915=719025915|2018-01-01T00:00:00.000Z|POINT (-117.157 32.7153)
05 719025400=719025400|2018-01-01T00:00:00.000Z|POINT (-117.393 33.2103)
06 719025135=719025135|2018-01-01T00:00:00.000Z|POINT (-117.823 33.6695)
07 719026216=719026216|2018-01-01T00:00:00.000Z|POINT (-97.6475 31.106)
08 719026312=719026312|2018-01-01T00:00:00.000Z|POINT (-97.6475 31.106)
09 719026320=719026320|2018-01-01T00:00:00.000Z|POINT (-97.6475 31.106)
10 719026992=719026992|2018-01-01T00:00:00.000Z|POINT (-97.6475 31.106)

Returned 669 total features

Running query EventCode = '051'
01 719024909=719024909|||MELBOURNE|AUS|051|10|1|10|4|Melbourne, Victoria, Australia|AS|2018-01-01T00:00:00.000Z|POINT (144.967 -37.8167)
02 719025178=719025178|AUSTRALIA|AUS|COMMUNITY||051|20|2|20|4|Sydney, New South Wales, Australia|AS|2018-01-01T00:00:00.000Z|POINT (151.217 -33.8833)
03 719025965=719025965|MIDWIFE||||051|10|1|10|4|Sydney, New South Wales, Australia|AS|2018-01-01T00:00:00.000Z|POINT (151.217 -33.8833)
04 719025509=719025509|COMMUNITY||AUSTRALIA|AUS|051|2|1|2|1|Australia|AS|2018-01-01T00:00:00.000Z|POINT (135 -25)
05 719025742=719025742|KING||||051|22|3|22|3|San Diego, California, United States|US|2018-01-01T00:00:00.000Z|POINT (-117.157 32.7153)
06 719025745=719025745|KING||||051|4|2|4|2|California, United States|US|2018-01-01T00:00:00.000Z|POINT (-119.746 36.17)
07 719025743=719025743|AUTHORITIES||||051|60|12|60|3|Wichita, Kansas, United States|US|2018-01-01T00:00:00.000Z|POINT (-97.3375 37.6922)
08 719027205=719027205|UNITED STATES|USA|SIOUX||051|4|1|4|3|Sioux City, Iowa, United States|US|2018-01-01T00:00:00.000Z|POINT (-96.4003 42.5)
09 719025111=719025111|||UNITED STATES|USA|051|2|1|2|3|Pickens County, South Carolina, United States|US|2018-01-01T00:00:00.000Z|POINT (-82.7165 34.9168)
10 719026938=719026938|PITTSBURGH|USA|||051|5|1|5|3|York County, Pennsylvania, United States|US|2018-01-01T00:00:00.000Z|POINT (-77 40.1254)

Returned 138 total features

Running query EventCode = '051' AND dtg DURING 2017-12-31T00:00:00+00:00/2018-01-02T00:00:00+00:00
Returning attributes [GLOBALEVENTID, dtg, geom]
01 719025634=719025634|2018-01-01T00:00:00.000Z|POINT (178 -18)
02 719027116=719027116|2018-01-01T00:00:00.000Z|POINT (-117.157 32.7153)
03 719027117=719027117|2018-01-01T00:00:00.000Z|POINT (-119.746 36.17)
04 719025036=719025036|2018-01-01T00:00:00.000Z|POINT (-86.8073 32.799)
05 719026318=719026318|2018-01-01T00:00:00.000Z|POINT (-86.8073 32.799)
06 719026296=719026296|2018-01-01T00:00:00.000Z|POINT (-81.2793 33.4968)
07 719025744=719025744|2018-01-01T00:00:00.000Z|POINT (-77.0364 38.8951)
08 719026946=719026946|2018-01-01T00:00:00.000Z|POINT (-86.2604 39.8647)
09 719025279=719025279|2018-01-01T00:00:00.000Z|POINT (-80.1667 44.0833)
10 719027252=719027252|2018-01-01T00:00:00.000Z|POINT (-77.264 40.5773)

Returned 138 total features

Done
内敛且不动声色的男子
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GeoMesa-HBase部署实践
GIS摆渡人
05-17 605
GeoMesa-HBase部署实践 关于HBase实验环境的搭建请参阅我的另一篇文章： https://blog.csdn.net/xiaof22a/article/details/80213064 1. GeoMesa源代码编译 由于...
geomesa-hbase安装包
10-19
编译好的geomesa-hbase安装包 安装包名： geomesa-hbase_2.11-2.1.0-SNAPSHOT-bin.tar.gz
GeoMesa-HBase操作篇——安装
在渊的杂物堆
04-10 3121
目录 1. 前期准备 2. 下载和解压 2.1 下载后直接解压 2.2 下载后源码编译 3. 修改配置信息 3.1 在/etc/profile文件中配置（主要是为了操作方便） 3.2 在GeoMesa本身的环境变量中设置 3.3 在外部环境中配置环境变量 4. 部署GeoMesa-HBase分布式运行jar 5. 注册协处理器 6. 设置命令行工具 7. 执行测试 ...
GeoMesa HBase 安装及问题解决：
csl136520054的博客
07-29 1576
GeoMesa HBase 安装中问题解疑： （安装进程按官网行：http://www.geomesa.org/documentation/user/hbase/install.html） 一、安装 1.从GitHub上下载最新版GeoMesa HBase到cloud目录下并解压 2.配置环境变量（vi /etc/profie 及 GeoMesa HBase根目录下 vi conf/geomesa-env.sh） export HADOOP_HOME=/path/to/hadoop export HB
安装单机版GeoMesa笔记
subian1261的博客
04-30 668
前言 参考教程：https://blog.csdn.net/weixin_41834634/article/details/89176473 在安装GeoMesa-Hbase之前，要保证服务器上已经正确安装JDK、Hadoop、Hbase等组件，具体版本要求如下： 本人各组件版本信息： Java JDK 1.8 Hadoop 2.7.3 Hbase 1.3.5版本 安装过程 Step1:下载和解压...
phoenix-hbase-2.4-5.1.2
最新发布
03-09
《Phoenix与HBase的深度解析：基于phoenix-hbase-2.4-5.1.2版本》 在大数据处理领域，Apache HBase和Phoenix是两个至关重要的组件。HBase作为一个分布式、列式存储的NoSQL数据库，为海量数据提供了高效、实时的访问...
phoenix-hbase-2.2-5.1.2-bin.tar.gz
05-07
`phoenix-hbase-2.2-5.1.2-bin.tar.gz`这个压缩包包含了Phoenix 2.2版本与HBase 5.1.2版本的二进制文件，用户可以解压后在本地或集群环境中安装和运行。安装步骤通常包括配置环境变量、创建HBase和Phoenix的目录结构...
phoenix-client-hbase-2.2-5.1.2.jar
12-10
phoenix-client-hbase-2.2-5.1.2.jar
Geomesa-Hbase单机部署及ingest、export shp文件数据
学亮编程手记
09-27 887
本文记录一下Geomesa-Hbase单机部署，步骤如下： 1.在VMware下创建虚拟机 2.安装Linux系统(我选的是centos6.8) https://www.cnblogs.com/help-silence/p/12515686.html 3.网络配置 https://www.cnblogs.com/help-silence/p/12516589.html 4.关闭防火墙 https://www.cnblogs.com/help-silence/p/12516931.html 5.安装JD
hbase-2.0.2.3.1.4.0-315-bin.tar.gz
10-11
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315.tar.gz
95-GeoMesa-Kafka集成
10-25 660
执行install-dependencies.sh和install-shapefile-support.sh脚本。下载geomesa-kafka_2.11-3.1.1-bin.tar.gz。（可不用修改，因为修改后，可能无法找到对应的jar包）配置kafka和zookeeper的home目录。修改kafka-env.sh配置文件。
GeoMesa 将矢量文件(GeoJSON)转存到Hbase集群内
u012453032的博客
01-19 579
GeoMesa对矢量文件(shp,geojson)都是需要GeoTools的支持,主要是依赖GeoToolsSpatialRDDProvider来处理 配置POM文件支持GeoJson接入 <dependency> <groupId>org.geotools</groupId> <artifactId>gt-geojsondatastore</artifactId> &lt
数据库应用实验（五）GeoMesa与HBase Ganos
zhiguo98的博客
06-29 1249
GeoMesa 是开源的基于分布式计算系统的面向海量时空数据查询与分析的工具包，GeoMesa的定位是一个基于分布式数据库的用于海量空间数据处理的数据引擎(SDE)，或者叫数据库中间件，目的在于使用户可以在分布式NoSql数据库中存储和管理海量空间数据。GeoMesa作为空间大数据处理套件，本身不存储数据，数据存储依赖底层的分布式数据库，如HBase，Accumulo等。 HBase Ganos是阿里云推出的一款包含管理「空间几何数据」、「时空轨迹」、「专题栅格」、「遥感影像」的时空大数据引擎系统。系统兼
geomesa-hbase实践
小小程序员
11-27 2951
geomesa-hbase实践 索引概念：geomesa会根据的schema字段属性来创建不同的时间与空间的索引 Z2[z2]]索引使用的二维Z阶曲线来索引点数据的维度和经度，用于查询空间上的分布没有时间概念 Z3[z3]索引使用的是三维Z阶曲线来索引点数据的维度经度和时间，具有空间和时间的概念 XZ2[xz2]索引使用的是XZ-ordering的二维实现来索引非点数据的维度和经度 XZ3[xz...
GeoMesa的安装与Quick Start(HBase)
HuFeiHu
01-05 1529
GeoMesa是一个运行在分布式计算系统上，支持大规模时空矢量数据查询和分析的开源工具。 本文介绍GeoMesa安装，以及来自官方的Quick Start教程（基于HBase）。 第一部分 GeoMesa的安装 1.下载 从Github下载已经编译好的二进制文件，解压至目标目录 # download and unpackage the most recent distribution:...
基于Ubuntu2004搭建hadoop3.2.1+hbase2.3.4+phoenix-hbase-2.3-5.1.0伪分布式环境
qq_41135117的博客
02-23 519
版权声明：本文作者首次发表地址：https://www.cnblogs.com/gjycn/p/14438354.html 软件依赖版本列表： oracle jdk8u281 zookeeper3.5.9 hadoop3.2.1 hbase2.3.4 phoenix-hbase-2.3-5.1.0 环境准备 安装jdk #解压 tar -zxvf jdk-8u281-linux-x64.tar.gz #复制 sudo cp jdk1.8.0_281 /usr/java -r #配置环境变.
Geomesa(二)开发环境搭建
wangwg的专栏
09-11 1240
开发环境搭建 创建项目 前文说过的基础软件比如 java scala等等都先安装好再继续 1： 打开Idea，新建项目，选择Maven下一步 2: 填写名称，完成即可 3: 打开Pom 文件先把提前定义好的属性加进去 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.reporting.ou
使用GeoMesa实现时空索引并进行KNN查询
m0_53578598的博客
05-29 500
安装geomesa-hbase 1.解压到指定目录后进行环境配置 #geomesa_home export GEOMESA_HBASE_HOME=/home/LXY/geomesa-hbase_2.11-3.4.0 export PATH=$PATH:$GEOMESA_HBASE_HOME/bin 2.部署GeoMesa-HBase分布式运行jar geomesa-hbase需要使用本地过滤器来加速查询，因此需要将GeoMesa的runtime JAR包，拷贝到 HBase的库目录下。 c
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值