Spring系列学习之Spring Cloud Data Flow 微服务数据流

英文原文:Redirecting…

目录

Spring Cloud数据流

概览

社区实现

快速开始

 构建Spring Spring数据流

Sample Projects

Customer Case Studies

Videos


Spring Cloud数据流

Spring Cloud Data Flow是用于构建数据集成和实时数据处理管道的工具包。

管道由Spring Boot应用程序组成,使用Spring Cloud Stream或Spring Cloud Task微服务框架构建。 这使得Spring Cloud Data Flow适用于各种数据处理用例,从导入/导出到事件流和预测分析。

概览

Spring Cloud Data Flow服务器使用Spring Cloud Deployer将数据管道部署到现代运行时,例如Cloud Foundry和Kubernetes。

针对各种数据集成和处理场景的一系列预构建任务/批处理启动器应用程序有助于学习和实验。

可以使用熟悉的Spring Boot样式编程模型构建针对不同中间件或数据服务的自定义流和任务应用程序。

简单的流管道DSL可以轻松指定要部署的应用程序以及如何连接输出和输入。在v1.2中添加了一个新的组合任务DSL

仪表板提供了一个图形编辑器,用于以交互方式构建新管道,以及可部署应用程序和使用度量标准运行应用程序的视图。

Spring Can Data Flow服务器公开了一个REST API,用于组合和部署数据管道。单独的shell使您可以从命令行轻松使用API​​。
平台实施

开始使用Spring Cloud Data Flow的一种简单方法是遵循下表中特定于平台的实现链接。每个实现都独立发布,具有独立的发布节奏。强烈建议您查看特定于平台的参考文档,以了解有关功能的更多信息。

Server TypeStable ReleaseMilestone/Snapshot Release
Local Server1.7.3.RELEASE[docs]2.0.0.M1[docs]
Cloud Foundry Server1.7.3.RELEASE[docs]2.0.0.M1[docs]
Kubernetes Server1.7.2.RELEASE[docs]2.0.0.M1[docs]

社区实现

快速开始


第1步 - 有两种入门方式。 最快的是下载Spring Cloud Data Flow Local-Server的Docker Compose工件。 (Mac用户可以使用'curl -O'代替'wget') 

wget https://raw.githubusercontent.com/spring-cloud/spring-cloud-dataflow/v1.7.3.RELEASE/spring-cloud-dataflow-server-local/docker-compose.yml

第2步 - 从您下载docker-compose.yml的目录中,启动SCDF系统。

DATAFLOW_VERSION=1.7.3.RELEASE docker-compose up

第3步 - 在http:// localhost:9393/dashboard处打开仪表板。

第4步 - 使用“Streams”选项卡下的“Create Stream(s)”来定义和部署流time| log使用“ticktock”这个名称登录。

Create TickTock Stream

Deploy TickTock Stream

一旦部署了“ticktock”流,您将在“运行时”选项卡下看到两个流应用程序(ticktock.log和ticktock.time)。 单击“ticktock.log”应用程序的i图标以复制流式日志的路径。

Deploy TickTock Stream

第5步 - 要验证已部署的流和结果,请从仪表板中复制“stdout”文本框中的路径。 从另一个终端控制台类型: 

docker exec -it dataflow-server tail -f <COPIED-STDOUT-PATH>

 构建Spring Spring数据流

Spring Cloud Data Flow基于多个项目构建,生态系统的顶级构建块列在以下可视化表示中。 每个项目代表一个核心功能,它们是孤立地发展的,具有单独的发布节奏 - 按照链接查找有关每个项目的更多详细信息。

Spring Cloud Data Flow Local Server 

Spring Cloud Data Flow Cloud Foundry Server 

Spring Cloud Data Flow Kubernetes Server 

Spring Cloud Data Flow Apache Yarn Server 

Spring Cloud Data Flow Apache Mesos Server 


REST-APIs / Shell / DSL 

Dashboard 

Spring Flo 

Spring Cloud Data Flow Metrics Collector 

Spring Cloud Data Flow - Core 

↓     Uses     ↓

Spring Cloud Deployer - Service Provider Interface (SPI) 

↑     Implements     ↑

Spring Cloud Deployer Local 

Spring Cloud Deployer Cloud Foundry 

Spring Cloud Deployer Kubernetes 

Spring Cloud Deployer Yarn 

Spring Cloud Deployer Mesos 

↓     Deploys     ↓

Spring Cloud Stream App Starters 

Spring Cloud Task App Starters 

Spring Cloud Stream 

Spring Cloud Task 

↓     Uses     ↓

Spring Integration 

Spring Boot 

Spring Batch 

Sample Projects

Customer Case Studies

Videos

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值