Apache InLong：一站式大数据集成框架

最新推荐文章于 2024-09-13 07:45:00 发布

束鲲淳Grayson

最新推荐文章于 2024-09-13 07:45:00 发布

阅读量858

点赞数 19

本文链接：https://blog.csdn.net/gitblog_01120/article/details/140979756

版权

Apache InLong：一站式大数据集成框架

inlongApache InLong - a one-stop, full-scenario integration framework for massive data项目地址:https://gitcode.com/gh_mirrors/in/inlong

项目介绍

Apache InLong 是一个一站式、全场景的大数据集成框架，支持数据摄取、数据同步和数据订阅，提供自动、安全、可靠的数据传输能力。InLong 同时支持批处理和流处理，为基于流数据构建数据分析、建模等实时应用提供了强大的支持。

InLong（应龙）是中国神话中引导河流入海的神奇生物，被视为 InLong 系统报告数据流的隐喻。

InLong 最初由腾讯构建，已为在线业务服务超过 8 年，支持大数据场景下的大规模数据（每日数据量超过 80 万亿条）报告服务。整个平台集成了 5 个模块：摄取、汇聚、缓存、排序和管理，使得业务仅需提供数据源、数据服务质量、数据落地集群和数据落地格式，即可实现数据从源到目标集群的持续推送，极大地满足了业务大数据场景下的数据报告服务需求。

项目技术分析

InLong 的技术架构设计精良，支持多种数据节点和数据处理方式。其核心特点包括：

易用性：基于 SaaS 的服务平台，用户可以通过发布和订阅基于主题的数据轻松快速地报告、转移和分发数据。
稳定性与可靠性：源自实际在线生产环境，提供高性能的 10 万亿级数据流处理能力和高可靠的 100 亿级数据流服务。
全面功能：支持多种数据访问方法，并可与不同类型的消息队列（MQ）集成。提供基于规则的实时数据提取、转换和加载（ETL）和排序能力。允许用户插件化扩展系统功能。
服务集成：提供统一的系统监控和报警服务，提供细粒度的指标以方便数据可视化。用户可以在统一的数据指标平台上查看队列和基于主题的数据统计的运行状态。用户还可以根据业务需求配置报警服务，以便在错误发生时收到警报。
可扩展性：采用可插拔架构，允许用户根据特定协议将模块插入系统。用户可以根据业务需求替换组件和添加功能。