kafka 可视化工具_使用Kafka和GeoMesa对流数据进行可视化

最近在做一些关于GeoMesa 的研究，发现一篇使用Kafka 和GeoMesa对实时流数据进行可视化的文章，希望通过翻译这篇文章（主要还是google翻译的功劳），对从事实时数据可视化方面研究的朋友们提供一些新的想法和思路。

实时位置流数据的可视化，可以展示目标点的实时位置分布、热力、轨迹等。它能够在即时快送、物流、快递、共享出行管理、政府公共交通监控，如公交、地铁、出租汽车等场景发挥作用。

原文链接：

http://www.ccri.com/2016/03/17/using-kafka-geomesa-visualize-streaming-data/​www.ccri.com

以下为数据正文：

众所周知GeoMesa用例通常以其与大型，可扩展的面向列的数据库管理器（如Accumulo，HBase和Google Cloud Bigtable）协同工作为中心。这些系统以存储大量数据的能力而闻名，GeoMesa为其提供了一系列地理空间功能，使您可以使用数PB的数据执行分析和可视化。

如今，许多领域中可用的一些消防软件数据提供了如此规模的数据，虽然保存它们并不值得，但在数据到达时分析这些数据仍然可以提供有价值的见解。因此“流处理”已成为处理许多类应用程序的数据的常用方法。最初在LinkedIn开发的开源Apache Kafka项目是一个消息排队系统，在处理流数据方面已经变得非常流行，它在LinkedIn，Netflix，PayPal和Uber的系统中发挥着作用。

GeoMesa也可以使用Kafka作为数据源。将GeoMesa与CCRI所基于浏览器的地理可视化工具Stealth(下图所示工具)一起使用时，这一点尤为出色。例如，如果您的系统正在读取有关车队的位置数据，GeoMesa可以从Kafka读取数据，并以亚秒级延迟渲染Stealth中的数千个动画点，从而近乎实时地查看车辆的位置。

我们最近了解到爱尔兰铁路公司获取列车状态的API，因此在圣帕特里克节，我们将它与GeoMesa和Kafka一起用于显示他们在昨天晚上高峰时段往返都柏林的列车位置。以下显示了此运动的重复循环：

（正如你可能想象的那样，上面的动画加速了;那些列车并没有那么快就在轨道上飞奔）除了列车的纬度和经度之外，API还提供了额外的数据，例如每列火车的代码（如下所示）作为伴随上面绿点的红色数字），旅行方向，公共信息和状态，GeoMesa也通过Stealth提供此信息。下面，在放大显示都柏林地区周边细节的放大视图中，我们看到用户检查正在运行的（“R”）列车的状态，然后是终止（“T”）列车，然后输入CQL过滤器查询这样地图只显示正在运行的列车：

通过Kafka传输的数据也可以存储在GeoMesa支持的大型数据存储之一中。我们保存了有关今天上午在爱尔兰，英国和西北欧的首批航班进入Accumulo的数据，下面的视频显示了如何播放这些数据。它还显示了如何操纵Stealth的交互式滑块让您控制重放的速度和每架飞机显示的最近点数，使显示的“尾部”更长或更短，以便更容易看到常见的飞行模式或当前每个飞机的位置。

直接来自Kafka的数据也可以进行这种倒带和回放，因为GeoMesa提供了一个Kafka消息消费者，允许您“回放”地图周围运动的动画。（有关生产者和消费者角色的更多信息，请参阅Kafka简介。）此外，Irish Rail API每30秒仅提供几十个数据点，而GeoMesa每秒可从Kafka检索数千个数据点并将其呈现在Stealth上。随着越来越多的物联网设备包含地理空间坐标及其传输的数据，这为您可以使用GeoMesa执行的各种可视化和分析创造了新的可能性。