怎样从gdelt上下载数据_GeoMesa 从GDELT中写入数据

GDELT介绍

GDELT是国外一个大数据存储项目，它提供了自1979年至今的全球广播、印刷和网络新闻媒体报道的事件，并按时间和位置索引。其数据量十分庞大，类别也很丰富。教程里使用的是这个地址下的数据，更新的频率为15分钟。教程使用2018年1月的数据进行试验。

下载数据

使用一个shell脚本批量下载这些文件(注意：官网教程里的脚本有误)：

#!/bin/bash

mkdir gdelt && cd gdelt

for day in {25..31}; do

mkdir 201801$day && cd 201801$day;

for hour in {00..23}; do

for minute in 00 15 30 45; do

wget "http://data.gdeltproject.org/gdeltv2/201801${day}${hour}${minute}00.export.CSV.zip"

done

done

cd ..

done

将数据解压并上传到HDFS中

使用如下的脚本完成：

#!/bin/bash

for day in {01..31}; do

ls 201801$day/*.zip | xargs -n 1 zcat | hadoop fs -put - /gdelt/uncompressed/201801${day}.tsv

done

开始写入

执行如下的命令，geomesa的命令行工具会启动一个MapReduce任务，将hdfs中的数据文件写入到数据库中(我安装的是HBase)，并构建索引。

geomesa-hbase ingest \

--catalog

--feature-name gdelt \

--converter gdelt2 \

--spec gdelt2 \

"hdfs://host:port/gdelt/uncompressed/*"

其中 table是要写入的表的名称。

然后就是等待写入完成，我运行时(3个节点，每个节点2核，4G内存)大概等待了40分钟左右，下面是运行正常时的输出结果。

INFO Creating schema 'gdelt'

INFO Running ingestion in distributed mode

INFO Submitting job - please wait...

INFO Tracking available at http://namenode/proxy/application_xxxxxxx/

[============================================================] 100% complete xxxxxx ingested 0 failed in 00:00:45

INFO Distributed ingestion complete in 00:00:45

INFO Ingested xxxxxx features with no failures.

可以用下面的语句验证导入是否成功：

--feature-name gdelt \

--catalog

--max-features 10

其中 table是写入数据的表的名称。

到这里，GDELT数据导入就完成了

使用geoserver可视化

如何安装geoserver以及安装geomesa插件，并根据已有数据发布地图服务，在之前的文章中已经说明，这里就不再叙述了。这里主要演示热力图的生成方法。

首先将Geomesa目录中的geomesa-process-wps_2.11-2.0.2.jar包，复制到geoserver库目录geoserver/WEB-INF/lib/下，以实现密度计算功能。

然后在geoserver后台的Style设置中，新建一个样式，导入官网提供的SLD文件，并命名。

SLD文件导入.jpg

在已生成图层的“发布”一栏中，将style样式选为刚刚新建的样式，点击“保存”。

设置样式.jpg

就可以看到以热力图的形式呈现的数据了(如果有底图效果会更好一些)~

热力图.jpg

参考资料