Streampark 入门到生产实践

大数据学习爱好者

已于 2024-03-18 11:46:51 修改

阅读量965

点赞数 1

分类专栏： spark开发和机器学习数据仓库文章标签：数据仓库大数据

于 2024-03-18 11:44:27 首次发布

本文链接：https://blog.csdn.net/u010160949/article/details/136803099

版权

数据仓库同时被 2 个专栏收录

20 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

spark开发和机器学习

4 篇文章

订阅专栏

StreamPark是一个基于Apache Flink和Spark的流处理框架，旨在简化开发和运维流程。它提供了一站式流处理运营平台，支持多种版本的Flink和Spark，包含丰富的connectors，并具备代码管理和监控功能。本文将介绍StreamPark的基本概念、特性、架构，以及环境安装和使用教程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.StreamPark初探

1.1 什么是StreamPark

实时即未来,在实时处理流域 Apache Spark 和 Apache Flink 是一个伟大的进步,尤其是 Apache Flink 被普遍认为是下一代大数据流计算引擎, 我们在使用 Flink & Spark 时发现从编程模型, 启动配置到运维管理都有很多可以抽象共用的地方, 我们将一些好的经验固化下来并结合业内的最佳实践, 通过不断努力诞生了今天的框架 —— StreamPark, 项目的初衷是 —— 让流处理更简单, 使用 StreamPark 开发流处理作业, 可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务,StreamPark 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的Connectors,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供了scala和java两套 Api, 并且提供了一个一站式的流处理作业开发管理平台, 从流处理作业开发到上线全生命周期都做了支持, 是一个一站式的流处理计算平台.