spring cloud data flow 调研

# Spring Cloud 相关库设计了Spring Initializr的特别版本

https://start-scs.cfapps.io/

Demo

https://www.baeldung.com/spring-cloud-data-flow-etl

代码实现

https://github.com/eugenp/tutorials/tree/master/spring-cloud-data-flow/etl

 

文章1

文章2

文章3

xd video

关键概念：

1. source 些外部事件和数据源（http mysql ftp cansandra s3 ...）
2. process 处理( 聚合 过滤 转换....)
3. sink 消耗或保存结果（hdfs mysql...）
4. DSL ：流式处理 语句（http | jdbc --columns=name --tableName=names）
5. SPI ：service provider interface（服务提供总线）

 

 

# time log 实现 

在本地运行 Local Server 版本的 spring cloud data flow

在官网的quick start 上可以实现time | log的 流

在试用官网的 Sample Projects 项目 Twitter Analytics

一开始就 卡在了 的时候发现官网开启方式 shell的启动链接 data flow 上：

正确开启后 资源失效。无法顺利进行。

dataflow:>app import --uri bit.ly/Einstein.RELEASE-stream-applications-rabbit-mavenrepo.spring.io

Command failed java.lang.IllegalArgumentException: java.io.FileNotFoundException: class path r

官网

下面才是正确的链接方式

http://repo.spring.io/libs-snapshot/org/springframework/cloud/stream/app/spring-cloud-stream-app-descriptor/Celsius.BUILD-SNAPSHOT/spring-cloud-stream-app-descriptor-Celsius.BUILD-SNAPSHOT.stream-apps-kafka-10-maven

文件导入失败

java.lang.RuntimeException: Error reading from URL [http://bit.ly/Celsius-BUILD-SNAPSHOT-stream-applications-kafka-10-maven]

正确的导入方式：

浏览器输入：http://bit.ly/Celsius-BUILD-SNAPSHOT-stream-applications-kafka-10-maven

拷贝第二个链接：

time log examp