Spring系列学习之Spring Cloud Data Flow 微服务数据流

最新推荐文章于 2024-06-08 16:35:51 发布
最新推荐文章于 2024-06-08 16:35:51 发布
阅读量477 收藏
点赞数
分类专栏： java 文章标签： java 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67403073/article/details/124444416
版权

英文原文：https://cloud.spring.io/spring-cloud-dataflow/

目录

Spring Cloud数据流

概览

社区实现

快速开始

?构建Spring Spring数据流

Sample Projects

Related Projects

Customer Case Studies

Videos

Spring Cloud数据流

Spring Cloud Data Flow是用于构建数据集成和实时数据处理管道的工具包。

管道由Spring Boot应用程序组成，使用Spring Cloud Stream或Spring Cloud Task微服务框架构建。 这使得Spring Cloud Data Flow适用于各种数据处理用例，从导入/导出到事件流和预测分析。

概览

Spring Cloud Data Flow服务器使用Spring Cloud Deployer将数据管道部署到现代运行时，例如Cloud Foundry和Kubernetes。

针对各种数据集成和处理场景的一系列预构建流和任务/批处理启动器应用程序有助于学习和实验。

可以使用熟悉的Spring Boot样式编程模型构建针对不同中间件或数据服务的自定义流和任务应用程序。

简单的流管道DSL可以轻松指定要部署的应用程序以及如何连接输出和输入。在v1.2中添加了一个新的组合任务DSL。

仪表板提供了一个图形编辑器，用于以交互方式构建新管道，以及可部署应用程序和使用度量标准运行应用程序的视图。

Spring Can Data Flow服务器公开了一个REST API，用于组合和部署数据管道。单独的shell使您可以从命令行轻松使用API。
平台实施

开始使用Spring Cloud Data Flow的一种简单方法是遵循下表中特定于平台的实现链接。每个实现都独立发布，具有独立的发布节奏。强烈建议您查看特定于平台的参考文档，以了解有关功能的更多信息。

Server Type

Stable Release

Milestone/Snapshot Release

Local Server

1.7.3.RELEASE[docs]

2.0.0.M1[docs]

Cloud Foundry Server

1.7.3.RELEASE[docs]

2.0.0.M1[docs]

Kubernetes Server

1.7.2.RELEASE[docs]

2.0.0.M1[docs]

社区实现

快速开始

第1步 - 有两种入门方式。 最快的是下载Spring Cloud Data Flow Local-Server的Docker Compose工件。 （Mac用户可以使用’curl -O’代替’wget’）

wget https://raw.githubusercontent.com/spring-cloud/spring-cloud-dataflow/v1.7.3.RELEASE/spring-cloud-dataflow-server-local/docker-compose.yml

第2步 - 从您下载docker-compose.yml的目录中，启动SCDF系统。

DATAFLOW_VERSION=1.7.3.RELEASE docker-compose up

第3步 - 在http:// localhost:9393/dashboard处打开仪表板。

第4步 - 使用“Streams”选项卡下的“Create Stream（s）”来定义和部署流time| log使用“ticktock”这个名称登录。

Create TickTock Stream

Deploy TickTock Stream

一旦部署了“ticktock”流，您将在“运行时”选项卡下看到两个流应用程序（ticktock.log和ticktock.time）。 单击“ticktock.log”应用程序的i图标以复制流式日志的路径。

Deploy TickTock Stream

第5步 - 要验证已部署的流和结果，请从仪表板中复制“stdout”文本框中的路径。 从另一个终端控制台类型：

docker exec -it dataflow-server tail -f <COPIED-STDOUT-PATH>

构建Spring Spring数据流

Spring Cloud Data Flow基于多个项目构建，生态系统的顶级构建块列在以下可视化表示中。 每个项目代表一个核心功能，它们是孤立地发展的，具有单独的发布节奏 - 按照链接查找有关每个项目的更多详细信息。

Spring Cloud Data Flow Local Server

Spring Cloud Data Flow Cloud Foundry Server

Spring Cloud Data Flow Kubernetes Server

Spring Cloud Data Flow Apache Yarn Server

Spring Cloud Data Flow Apache Mesos Server

REST-APIs / Shell / DSL

Dashboard

Spring Flo

Spring Cloud Data Flow Metrics Collector

Spring Cloud Data Flow - Core

↓ Uses ↓

Spring Cloud Deployer - Service Provider Interface (SPI)

↑ Implements ↑

Spring Cloud Deployer Local

Spring Cloud Deployer Cloud Foundry

Spring Cloud Deployer Kubernetes

Spring Cloud Deployer Yarn

Spring Cloud Deployer Mesos

↓ Deploys ↓

Spring Cloud Stream App Starters

Spring Cloud Task App Starters

Spring Cloud Stream

Spring Cloud Task

↓ Uses ↓

Spring Integration

Spring Boot

Spring Batch

Sample Projects

Related Projects

Customer Case Studies

Videos

m0_67403073
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SpringCloudDataFlow微服务流式处理框架实践
禅与计算机程序设计艺术
07-30 1149
2017年5月，Spring官方宣布支持Java开发人员通过云平台部署和管理微服务应用。Spring Cloud是一个基于Spring Boot实现的轻量级PaaS(Platform as a Service)框架，它整合了微服务架构模式及一些列开源组件帮助开发者快速构建分布式系统。Spring Cloud Data Flow 是一个用于开发和运行可缩able、可靠的事件驱动型微服务数据流的轻量级Serverless微服务引擎，它可以很好地与Spring Boot和Spring Cloud生态系统集成。
Spring Cloud Data Flow流处理入门-5
一片冰心
02-07 1142
流处理入门 Spring Cloud Data Flow 提供了 70 多个预构建的流应用程序，您可以立即使用它们来实现常见的流用例。在本指南中，我们使用其中两个应用程序来构建一个简单的数据管道，该管道生成从外部 HTTP 请求发送的数据，并通过将有效负载记录到终端来使用该数据。 安装指南包括使用 Data Flow 注册这些预构建应用程序的说明。 流 DSL 概述 您可以通过外壳或仪表板使用领域特定语言 (DSL) 以及在 Java 中以编程方式创建流。仪表板还允许您将应用程序拖放到调色板上并以可视方式连
Spring Cloud 系列文章之十一：Spring Cloud Data Flow 在数据处理中的应用
最新发布
阿里渣渣java研发组-群主
06-08 470
Spring Cloud Data Flow 是一个用于构建和管理数据流和批处理任务的框架。它提供了一套可视化工具和 REST API，支持开发者定义和管理数据处理管道。：用于构建消息驱动的微服务。：用于构建短生命周期的批处理任务。：管理和监控数据流和任务的执行。创建数据流应用创建一个简单的 Spring Cloud Stream 应用，作为数据流的处理器：
Spring Cloud Data Flow 简介
热门推荐
aiyaobucuoo的专栏
04-05 5万+
Spring Cloud Data Flow 介绍1.Data flow 是一个用于开发和执行大范围数据处理其模式包括ETL，批量运算和持续运算的统一编程模型和托管服务。 2.对于在现代运行环境中可组合的微服务程序来说，spring cloud data flow是一个原生云可编配的服务。使用spring cloud data flow，开发者可以为像数据抽取，实时分析，和数据导入/导出这种常见用例
Spring Cloud Data Flow简介
C.
07-23 7117
文章目录Spring Cloud Data Flow简介Spring Cloud Data Flow介绍Server ComponentsApplication TypesLong-lived ApplicationsStreams with Sources, Processors and SinksShort-lived Applications参考 Spring Cloud Data Flow简介 Spring Cloud Data Flow介绍 Spring Cloud Data Flow是用于构
使用SpringCloudDataFlow进行流式应用
禅与计算机程序设计艺术
01-28 1284
1.背景介绍 1. 背景介绍 随着数据量的增加，传统的批处理方式已经无法满足实时性和效率的需求。流式处理技术为处理大量数据提供了一种高效的方式。Spring Cloud Data Flow(SCDF)是一个用于构建流式应用的开源框架，它提供了一种简单易用的方式来构建、部署和管理流式应用。 在本文中，我们将讨论如何使用Spring Cloud Data Flow进行流式应用。我们将涵盖其核心概...
SpringDataFlow
weixin_39304739的博客
01-27 861
教程：https://dataflow.spring.io/docs/stream-developer-guides/streams/data-flow-stream/#the-data-flow-dashboard 1.使用docker配置环境 我的操作系统为Centos，docker为19.03.2，docker-compose1.24.1 下载文件docker-compose.yml 这个网址需要翻墙： https://raw.githubusercontent.com/spring-cl.
Java Spring Cloud Data Flow简介
01-05
总的来说，Spring Cloud Data Flow 通过其模块化、微服务架构和丰富的工具集，极大地简化了大数据处理的复杂性，提高了开发效率，并支持实时数据处理。它使得开发者可以更加专注于数据的价值提取，而不是基础架构的...
解锁SpringCloud主流组件 解决微服务诸多难题
09-19
12. **Spring Cloud Data Flow**：用于数据处理和流应用程序的管理，支持批处理和实时流处理场景。 13. **Spring Cloud Task**：处理一次性任务调度，如数据导入导出、定时任务等。 14. **Spring Cloud Contract**...
基于SpringCloud的微服务乐优商城
04-10
6. **Spring Cloud Data Flow**：数据流处理工具，用于构建和部署数据处理任务。 7. **Spring Cloud Stream**：支持消息驱动的微服务间通信，可以利用RabbitMQ或Kafka等消息中间件。 在"乐优商城"项目中，这些组件...
SpringCloudDataFlow是用于构建数据集成和实时数据处理管道的工具包
08-08
管道由Spring Boot应用程序组成，使用Spring Cloud Stream或Spring Cloud Task微服务框架构建。这使得Spring Cloud Data Flow适用于从导入/导出到事件流和预测分析的一系列数据处理用例。
bitnami-docker-spring-cloud-dataflow-shell:Bitnami Spring Cloud数据流Shell Docker映像
03-20
$ docker run --name spring-cloud-dataflow-shell bitnami/spring-cloud-dataflow-shell:latest 为什么要使用Bitnami Images？ Bitnami密切跟踪上游源代码变化，并使用我们的自动化系统及时发布该图像的新版本。 ...
SpringCloud微服务学习.zip
06-28
10. **Spring Cloud Data Flow数据流** Spring Cloud Data Flow是一个用于构建和部署复杂数据处理流程的平台，支持批处理和流处理，适用于构建大数据处理应用。 搭建SpringCloud微服务实战中，首先你需要创建一个...
Spring Cloud Data Flow系列教程架构-2
一片冰心
01-27 2584
架构 Spring Cloud Data Flow 简化了专注于数据处理用例的应用程序的开发和部署。 主要概念： 数据流的服务器组件。 服务器组件可以为流和批处理作业部署的应用程序类型。 已部署应用程序的微服务架构以及如何使用 DSL 进行定义。 部署它们的平台。 服务器组件 数据流有两个主要组件： 数据流服务器 船长服务器 访问数据流的主要入口点是通过数据流服务器的 RESTful API。Web 仪表板由数据流服务器提供服务。Data Flow Server 和 Data Flow Shell
2.23学习-spring cloud dataflow
weixin_44594263的博客
02-23 590
文章目录spring cloud dataflow一、spring cloud dataflow是什么？二、使用步骤1.引入库2.读入数据总结 spring cloud dataflow 一、spring cloud dataflow是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pyplot as
Spring Cloud Data Flow系列教程简介-1
一片冰心
01-27 3064
简介 前言 Spring Cloud data flow 为基于微服务的分布式流处理和批处理数据通道提供了一系列模型和最佳实践。 Spring Cloud Data Flow 提供了为流和批处理数据管道创建复杂拓扑的工具。数据管道由使用Spring Cloud Stream或Spring Cloud Task微服务框架构建的Spring Boot应用程序组成。 Spring Cloud Data Flow 支持一系列数据处理用例，从 ETL 到导入/导出、事件流和预测分析。 基本概念 数据处
SpringBoot，SpringFramework，SpringCloud，SpringCloudDataFlow，SpringData ，SpringIntegration 等框架介绍示例场景
无极低码
04-28 9096
Spring Boot 是一个基于 Spring Framework 的快速开发 Web 应用程序框架，用于构建可部署的应用程序。Spring Boot 提供了一种简单的方式来构建和部署 Web 应用程序，使得开发者可以更加高效地开发 Web 应用程序。适用场景：快速开发 Web 应用程序，构建可部署的应用程序。
spring cloud data flow
08-13
### 回答1： Spring Cloud Data Flow 是一个用于管理和执行数据处理管道的开源平台。它基于 Spring Cloud 和 Spring Boot 构建，允许开发人员使用简单的语法组合多个组件（称为“Streams”）来构建复杂的数据处理流程。 ### 回答2： Spring Cloud Data Flow（SCDF）是一种用于开发和部署大规模数据处理和流式数据应用程序的开源框架。它是基于Spring Cloud和Spring Boot构建的，提供了一套完整的工具和组件，帮助开发人员简化数据集成、数据处理和数据分析的过程。 SCDF提供了一个可视化的用户界面，使开发人员能够轻松地创建、组装和部署数据流。用户可以通过简单的拖拽和连接来定义数据流，并配置各个组件的参数。SCDF支持各种各样的组件，包括源（Source）、处理器（Processor）和目标（Sink），用户可以根据自己的需求选择合适的组件来构建数据流。 SCDF还提供了一套丰富的功能，帮助开发人员管理和监控数据流。开发人员可以通过用户界面查看数据流的状态、指标和日志，以便及时发现和解决问题。此外，SCDF还支持水平扩展和容错处理，确保数据流的高可用性和可靠性。 除了数据流之外，SCDF还支持任务（Task）的开发和部署。任务是一组有序的步骤，可以在SCDF中定义和执行。开发人员可以通过任务来实现一次性的数据处理需求，例如定时调度、数据迁移等。 总而言之，Spring Cloud Data Flow是一个非常有用的框架，可以帮助开发人员简化大规模数据处理和流式数据应用程序的开发和部署。它提供了简单易用的用户界面和丰富的功能，使开发人员能够更高效地开发和管理数据流和任务。 ### 回答3： Spring Cloud Data Flow是一个用于构建和管理数据流应用程序的框架。它提供了一种简单且灵活的方式，用于在分布式系统中定义、部署和监控数据处理流程。 Spring Cloud Data Flow建立在Spring Cloud和Spring Boot的基础上，利用这些开源框架提供的丰富功能和生态系统。它提供了一组用于构建数据流应用程序的工具和功能，包括实时流处理、批处理和任务执行等。 Spring Cloud Data Flow使用了一种基于Spring Cloud Stream的声明式编程模型，允许开发人员通过简单地定义数据流来构建应用程序。数据流由一系列的可重用的处理模块组成，这些模块被称为Spring Cloud Stream应用。这些应用可以通过消息传递进行通信，形成一个完整的、高效的数据处理流程。 通过Spring Cloud Data Flow，可以轻松地创建、配置和管理多个应用程序实例的部署。它提供了一个易于使用的面板，用于监控和管理数据流应用程序的运行状况。还可以根据需要对数据流进行动态的扩展和缩减，以满足不同的处理需求。 总之，Spring Cloud Data Flow是一个强大的工具，它简化了构建和管理数据流应用程序的过程。通过它，开发人员可以更加高效地开发和部署数据处理流程，提高系统的灵活性和可扩展性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值