Ebay开源基于大数据的可视化框架：Pulsar Reporting

最新推荐文章于 2024-08-05 18:02:05 发布

ebay

最新推荐文章于 2024-08-05 18:02:05 发布

阅读量1w

点赞数

分类专栏：平台开发文章标签： Pulsar 大数据

本文链接：https://blog.csdn.net/ebay/article/details/50417403

版权

Ebay推出开源项目Pulsar Reporting，这是一个基于大数据的可扩展和可定制的可视化平台，提供实时数据可视化、报表编辑器、丰富的图形库等功能。用户可通过直观界面生成自定义报表，无需编程，支持多种图形报表和动态数据源管理。Pulsar Reporting与Pulsar Pipeline结合，提供实时大数据分析解决方案，适用于网站性能分析等场景。

摘要由CSDN通过智能技术生成

作者：汪明明，王巧玲

ebay又新添了一个开源项目PulsarReporting – 基于大数据的可视化框架

Pulsar作为一个实时和近实时大数据分析处理系统，包含了Pulsar Pipeline和Pulsar Reporting. 在今年三月, eBay Pulsar团队开源了实时大数据分析平台– Pulsar Pipeline，作为一个实时大数据分析平台，PulsarPipeline可以对海量数据进行实时收集，处理和分析，从而使eBay海量的数据实时分析成为可能；然而Pulsar又面临一个新的挑战，就是大数据的实时可视化。用户的需求就是Pulsar团队的动力，经过半年多的努力，eBay Pulsar团队研发了一个新的基于大数据的可视化框架– Pulsar Reporting

Pulsar Reporting

Pulsar Reporting 是一个基于大数据的可扩展和可定制的可视化平台，用户通过Pulsar 可以提供更为清晰直观的数据洞察力，将错综复杂的数据和数据之间的关系，通过图形的形式呈现出来，从而给用户带来实时的洞察力和有效的决策力。同时Pulsar Reporting 也提供了非常友好的数据交互体验以及从宏观到微观的灵活切换，从而为用户对数据进行实时多角度分析和可视化成为可能。

主要特点

Ÿ 实时数据可视化 – 基于实时数据生成报表，并支持定期刷新

Ÿ 可视化报表编辑器 – 通过可视化界面生成自定义报表，且无需任何编程

Ÿ 丰富的图形库 – 可以创建各种图形报表：线图，饼图，柱状图，趋势图等

Ÿ Reporting API支持– 支持标准化SQL脚本和结构化JSON格式

Ÿ 动态数据源管理 – 支持‘热插拔’增加和删除数据源

Ÿ 基于Angular JS的UI框架 – 易于增加和扩展现有的图形库

Ÿ 基于BootStrap的响应式设计 – 可以支持不同的终端设备，如手机，平板等

使用场景

Pulsar Reporting框架作为Pulsar生态系统的一个部分，使得Pulsar可以提供一个端到端的实时大数据分析解决方案，包括从后端的数据收集，数据流处理分析到前端的数据实时展现。Pulsar Pipeline具有每秒百万级流量的处理能力，而数据可视化则是最好的途径去直观且有效得展现大数据的魅力。然而基于大数据进行实时分析并进一步为决策者提供有用的数据报表并非一件易事，Puslar Reporting正好解决这方面的困扰；它允许用户通过Pulsar Reporting简单便捷的界面来制定他们所需的报表而无需考虑后端复杂的数据处理和前段的界面展现的问题；另一方面，Reporting强大的API，允许开发人员自由得扩展现有的数据报表，从而定制自己特色的报表。

体系架构

在Pulsar Reporting，来自Pulsar Pipeline的原数据和session数据，通过Pulsar Kafka通道中指定的topics流入到Kafka集群，然后再通过Kafka topics分别注入到Druid的原数据和Session数据表中，而数据导入Druid之前，数据预先经过秒级粒度的聚合，从而保证在可视化阶段能达到实时秒级的响应。而且在Pulsar Reporting中，我们也支持Reporting API – 一组抽象的数据分析和查询接口，用户可以通过调用相应的接口来获取处理过的原数据和Session数据，并生成不同维度的报表。图中红色部分就是Pulsar Reporting的主要功能模块。