前言
前提说明:cdh6.2.1集群已经安装zookeeper和kafka。
本文目标:安装geomesa-kafka 3.1.0,使用测试数据进行入库。先在一台上安装然后scp到其它台。
一、下载
下载geomesa-kafka 3.1.0。
地址:https://github.com/locationtech/geomesa/releases/download/geomesa_2.11-3.1.0/geomesa-kafka_2.11-3.1.0-bin.tar.gz,速度有点慢就是了,可以使用github代下网站下载或其它方式。
二、解压
上传到服务器,并解压,解压到/usr/local目录,解压后的目录:
三、修改配置
进入geomesa-kafka_2.11-3.1.0/conf目录进行配置
[root@node3 local]# cd geomesa-kafka_2.11-3.1.0/conf/
配置文件
dependencies.sh 依赖的配置,主要是修改kafka的版本和zookeeper的版本,我这里不改了。因为cdh6.2.1安装的zookeeper是3.4.5和kafka是2.1.0。所以差别不大就不改了,可以用。
修改kafka-env.sh配置文件
配置kafka和zookeeper的home目录。
/opt/cloudera/parcels/CDH/lib/kafka、/opt/cloudera/parcels/CDH/lib/zookeeper
四、安装依赖
进入bin目录
[root@node3 bin]# cd /usr/local/geomesa-kafka_2.11-3.1.0/bin/
执行install-dependencies.sh和install-shapefile-support.sh脚本
五、集群中其它台的安装
直接将geomesa-kafka_2.11-3.1.0整个文件夹复制到其它台,即可。
六、测试
使用bin/geomesa-kafka命令将example.csv数据入库。example.csv是安装包中自带的
[root@node3 bin]# ./geomesa-kafka ingest -b ip1:9092,ip2:9092,ip3:9092 -z ip1:2181,ip2:2181,ip3:2181/kafka -f testFeature --input-format csv --partitions 3 ../examples/ingest/csv/example.csv
-b是设置kafka的brokers,-z是设置zookeeper
成功插入三个要素
到kafka中查看,进入/var/local/kafka/data目录
成功
总结
1.注意版本的配置
2.注意插入语句的参数,不清楚的可以使用help查看。
3.欢迎互相学习,交流讨论,本人的微信:huangchuanxiaa。