【SDC】StreamSets实战之路-5-基础篇- StreamSets开启第一个数据流

本文详细介绍了如何使用StreamSets创建第一个数据流,从本地文件读取数据,经过处理后再存储到本地磁盘。内容涵盖数据准备、数据流设计,包括数据源插件配置、JavaScript插件、记录过滤、字段展开、表达式处理和数据输出到本地文件系统的步骤,以及数据流的配置、验证、预览和启动监控。
摘要由CSDN通过智能技术生成

主要介绍第一个工作流的创建、预览、启动过程,这条数据流将本地文件中的数据进行处理,最终将处理过的数据存放到本地磁盘上(streamsets 运行在CentOS7上)。

1 数据准备阶段

在本地磁盘的/tmp目录下新建一个inputdatas 目录,并将我们准备好的数据放置到该目录下,这里我们准备了一个json文件,再在/tmp目录下新建一个outputdatas用于存放处理后的数据。

2 数据流设计阶段

(1)新建一个数据流,填写数据流名字、描述信息、定义一个标签信息。选择数据流类型为Data Collect Pipeline,点击Save按钮。

(2)完成第一步会进入数据流设计界面,如下图:

(3)首先从下图中的两个区域选择一个数据源插件,用于将外部数据源中的数据输入到Streamsets 中,这里我们选择一个简单的文件目录插件,并配置该插件,设置读取的文件目录、文件类型、输入到streamsets 中的文件格式,其他的配置参数先默认。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

菜鸟蜀黍

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值