Spring系列学习之Spring Cloud Data Flow 微服务数据流

boonya

已于 2024-09-06 15:08:35 修改

阅读量3.4w

点赞数 2

分类专栏： # SpringCloud 文章标签： Spring Cloud DataFlow

于 2018-12-25 21:12:30 首次发布

原文链接：https://cloud.spring.io/spring-cloud-dataflow/

版权

SpringCloud 专栏收录该内容

35 篇文章 0 订阅

订阅专栏

英文原文：Redirecting…

Customer Case Studies

Videos

Spring Cloud数据流

Spring Cloud Data Flow是用于构建数据集成和实时数据处理管道的工具包。

管道由Spring Boot应用程序组成，使用Spring Cloud Stream或Spring Cloud Task微服务框架构建。这使得Spring Cloud Data Flow适用于各种数据处理用例，从导入/导出到事件流和预测分析。

概览

Spring Cloud Data Flow服务器使用Spring Cloud Deployer将数据管道部署到现代运行时，例如Cloud Foundry和Kubernetes。

针对各种数据集成和处理场景的一系列预构建流和任务/批处理启动器应用程序有助于学习和实验。

可以使用熟悉的Spring Boot样式编程模型构建针对不同中间件或数据服务的自定义流和任务应用程序。

简单的流管道DSL可以轻松指定要部署的应用程序以及如何连接输出和输入。在v1.2中添加了一个新的组合任务DSL。

仪表板提供了一个图形编辑器，用于以交互方式构建新管道，以及可部署应用程序和使用度量标准运行应用程序的视图。

Spring Can Data Flow服务器公开了一个REST API，用于组合和部署数据管道。单独的shell使您可以从命令行轻松使用API。
平台实施

开始使用Spring Cloud Data Flow的一种简单方法是遵循下表中特定于平台的实现链接。每个实现都独立发布，具有独立的发布节奏。强烈建议您查看特定于平台的参考文档，以了解有关功能的更多信息。

Server Type	Stable Release	Milestone/Snapshot Release
Local Server	1.7.3.RELEASE[docs]	2.0.0.M1[docs]
Cloud Foundry Server	1.7.3.RELEASE[docs]	2.0.0.M1[docs]
Kubernetes Server	1.7.2.RELEASE[docs]	2.0.0.M1[docs]

社区实现

快速开始

第1步 - 有两种入门方式。最快的是下载Spring Cloud Data Flow Local-Server的Docker Compose工件。（Mac用户可以使用'curl -O'代替'wget'）

wget https://raw.githubusercontent.com/spring-cloud/spring-cloud-dataflow/v1.7.3.RELEASE/spring-cloud-dataflow-server-local/docker-compose.yml

第2步 - 从您下载docker-compose.yml的目录中，启动SCDF系统。

DATAFLOW_VERSION=1.7.3.RELEASE docker-compose up

第3步 - 在http:// localhost:9393/dashboard处打开仪表板。

第4步 - 使用“Streams”选项卡下的“Create Stream（s）”来定义和部署流time| log使用“ticktock”这个名称登录。

Create TickTock Stream

Deploy TickTock Stream

一旦部署了“ticktock”流，您将在“运行时”选项卡下看到两个流应用程序（ticktock.log和ticktock.time）。单击“ticktock.log”应用程序的i图标以复制流式日志的路径。

Deploy TickTock Stream

第5步 - 要验证已部署的流和结果，请从仪表板中复制“stdout”文本框中的路径。从另一个终端控制台类型：

docker exec -it dataflow-server tail -f <COPIED-STDOUT-PATH>

构建Spring Spring数据流

Spring Cloud Data Flow基于多个项目构建，生态系统的顶级构建块列在以下可视化表示中。每个项目代表一个核心功能，它们是孤立地发展的，具有单独的发布节奏 - 按照链接查找有关每个项目的更多详细信息。

Spring Cloud Data Flow Local Server

Spring Cloud Data Flow Cloud Foundry Server

Spring Cloud Data Flow Kubernetes Server

Spring Cloud Data Flow Apache Yarn Server

Spring Cloud Data Flow Apache Mesos Server

REST-APIs / Shell / DSL	Dashboard	Spring Flo	Spring Cloud Data Flow Metrics Collector
Spring Cloud Data Flow - Core

↓ Uses ↓

Spring Cloud Deployer - Service Provider Interface (SPI)

↑ Implements ↑

Spring Cloud Deployer Local

Spring Cloud Deployer Cloud Foundry

Spring Cloud Deployer Kubernetes

Spring Cloud Deployer Yarn

Spring Cloud Deployer Mesos

↓ Deploys ↓

Spring Cloud Stream App Starters

Spring Cloud Task App Starters

↓ Uses ↓

Spring系列学习之Spring Cloud Data Flow 微服务数据流

Spring Cloud数据流

概览

社区实现

快速开始

构建Spring Spring数据流

Sample Projects

Related Projects

Customer Case Studies

Videos