【StreamSet】ETL之StreamSet之Pipelines的状态监听之WebHook钉钉篇

最新推荐文章于 2022-12-04 02:31:41 发布

九层之台起于累土

最新推荐文章于 2022-12-04 02:31:41 发布

阅读量366

点赞数 1

分类专栏：【Streamsets】文章标签： etl 前端服务器大数据

本文链接：https://blog.csdn.net/m0_54252387/article/details/126190989

版权

【Streamsets】专栏收录该内容

37 篇文章 16 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何使用StreamSets的Pipelines状态监听功能，结合钉钉的WebHook实现状态变更通知。详细讲解了配置WebHook、设置自定义关键词、建立Pipeline以及查看效果的过程，强调了钉钉WebHook在状态监控中的便利性。

摘要由CSDN通过智能技术生成

有博友留言，让我介绍下StreamSets的状态监听以及钉钉的webhook的互联，这位博友问的恰是时候，不久前我刚刚对接过钉钉的机器人，这次看到这个问题，对我来说，应该轻车熟路了，那就有了这篇博文，状态监听之钉钉篇。

Pipelines的状态监听

熟悉Pipelines的童鞋，应该注意过在Pipelines的配置项内，有一项是通知，大概的位置如下：
在这里插入图片描述
在这里可以采用Email方式或者Webhooks方式对状态的变化进行监听。
状态监听包含以下状态：

序号	状态	描述
1	Running	运行状态
2	Start_Error	启动时错误

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九层之台起于累土

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

数据对接-ETL之StreamSet学习之旅九Pipelines的状态监听之WebHook钉钉篇

网尘的技术专栏

09-25

1088

有博友留言，让我介绍下StreamSets的状态监听以及钉钉的webhook的互联，这位博友问的恰是时候，不久前我刚刚对接过钉钉的机器人，这次看到这个问题，对我来说，应该轻车熟路了，那就有了这篇博文，状态监听之钉钉篇。 Pipelines的状态监听熟悉Pipelines的童鞋，应该注意过在Pipelines的配置项内，有一项是通知，大概的位置如下：在这里可以采用Email方式或者Webhooks方式对状态的变化进行监听。状态监听包含以下状态：序号状态描述 1 Running.

数据对接-ETL之StreamSet学习之旅一

热门推荐

网尘的技术专栏

11-20

1万+

目录StreamSet介绍StreamSet安装1. RPM安装2. Docker镜像安装存储应用引用链接 StreamSet介绍 StreamSets是一个侧重数据集成、数据加工流程构建的平台，也是一个开源的产品。通过StreamSets，用户可以方便的接入不同的数据源，并且完成数据加工流程的构建。 SteamSets有可视化的数据流构建工具，并且能够对运行态的数据应用进行监控。该应用更侧重...

参与评论您还未登录，请先登录后发表或查看评论

Streamsets（十）通过脚本监控pipeline任务状态

人是有思想的芦苇

08-29

1265

1、说明安装好streamsets后直接内置了restful API的说明 http://172.27.13.109:18630/collector/restapi 我们是监控某一个pipeline的运行状态，所使用的api为 /rest/v1/pipeline/{pipelineId}/status 需要指定所查询的pipeline的Id，返回的是json格式数据。 2、测试直接在操作系统上使用curl命令来测试，Authorization为账号密码进行加密后得到的字..

StreamSets学习系列之StreamSets的Create New Pipeline（图文详解）

weixin_30297281的博客

07-26

265

　　　　不多说，直接上干货！前期博客 StreamSets学习系列之StreamSets支持多种安装方式【Core Tarball、Cloudera Parcel 、Full Tarball 、Full RPM 、Docker Image和Source Code 】（图文详解） StreamSets学习系列之StreamSets的Core Tar...

StreamSet学习（一）Pipeline Concepts and Design

fengfengchen95的博客

11-29

1685

一、数据流的合并和分支二、Dropping Unwanted Records （1）required field可以在processor, executor, and most destination 节点，如果一个记录没人包含任何的必要字段那么这条记录将别丢给错误处理操作。（2）Preconditions 前置条件，数据必须满足前置条件的情况下才能进入相关的...

Streamsets组件详解

叁木大数据

08-04

4628

Streamsets优化详解一、Origin类组件详解二、Processor类组件详解三、Destination类组件详解四、Executor类组件使用详解一、Origin类组件详解 Amazon S3 Amazon SQS Consumer Azure Data Lake Storage Gen1 Azure Data Lake Storage Gen2 Azure IoT/Event Hub Consumer CoAP Server Cron Scheduler // 任务调度组件，用于调度数据流 D

数据对接-ETL之StreamSet学习之旅七微服务

网尘的技术专栏

01-16

2578

StreamSet作为大数据ETL工具的选择，当然需要处理数据的合并与转存，其大部分功能集中于此。有些场景可能需要其对外提供个接口，可以被调用，StreamSets能做到吗？答案是能！并且能做当今流行的微服务，啊！好高大上~，今天就来看看吧。目录学习系列1、Restful风格的Api2、建立Api3、测试一下3.1 大名鼎鼎的Postman，后端程序员必备3.2 测试专业级Jmeter3.3...

数据对接-ETL之StreamSet学习之旅八定时启动

网尘的技术专栏

08-22

1084

很多朋友咨询过我，说怎么能够设置StreamSets为定时启动模式，或者定时干某件事，我都很肯定的告诉他，StreamSets不是这么用的，它一旦启动，就会一直跑，只能设定采集速度模糊控制时间。随着新版本的发布，有这方面需求的小伙伴们，你们有福了。这篇文章会隆重介绍新明星组件:CRON 目录学习系列1、定时启动组件CRON2、Cron表达式3、来个栗子：定时监控微服务4、监控结果5、总结学习系列数据对接-ETL之StreamSet学习之旅一数据对接-ETL之StreamSet学习之旅二数据对接.

streamsets2.6.0.1执行监控接口

知识的力量

02-28

1807

一、获取采集任务列表接口url路径和请求方式请求参数请求头返回结果二、采集任务执行监控接口/rest/v1/acl/ 接口路径和请求方式请求参数请求头返回结果/rest/v1/acl/{pipelineId}/permissions接口路径和请求方式请求参数请求头返回结果/v1/pipeline/{pipelineId}/committedOffsets接口路径和请求方式请求参数请求头返回结果/v...

使用Streamsets将MySQL的数据同步到Rabbitmq生产者中

JJBOOM425的博客

01-11

803

之前一篇博客记录了将Oracle的数据实时同步到MySQL中，因为项目需要，将多个数据源的数据先集成到统一的MySQL数据库中，然后再将这些数据传输到Rabbitmq中，最后经过Spark传输到HBASE中。之前也考虑过将这些绘制到一个管道中，最后因为Rabbitmq我并没有找到可以作为中间的过程的组件，只能拆分成两个管道，这篇就记录一下将MySQL中的数据传输到Rabbitmq Producer中。 1、首先绘制整个的管道 2、配置MySQL Binary Log参数 A、配置MySQL Bin

streamsets任务批量管理尝试

xufwind的博客

01-11

777

使用 streamsets 处理导数据，可以做到在页面拖拉拽创建一个pipeline，就能打通数据通道在需要接入的业务系统很多的情况下，我们就会创建很多的pipeline，用来导数据在大量使用全量导入，做T+1数据的情况下，如何管理 streamsets 各个导数据的pipeline的执行会是个比较重要的问题在此尝试了两种方式来管理 streamsets pipeline 的批量执行方式一: 使用python直接调streamsets API 的方式思路简介将需要按时调用的pipeline.

Streamsets使用过程中遇到的问题及解决办法

zwahut的专栏

05-28

9311

1、streamsets添加外部jar包时报错界面上加载不出来stageLibrary，后台日志报错： java.net.UnknownHostException: archives.streamsets.com 网上找的类似的问题，但没有给出解决办法：https://issues.streamsets.com/browse/SDC-10236?page=com.atlassian....

【ETL工具】StreamSets 定时调度

康师傅没有眼泪

07-25

3431

Streamsets是一款大数据实时采集和ETL工具，可以实现不写一行代码完成数据的采集和流转。通过拖拽式的可视化界面，实现数据管道(Pipelines)的设计和定时任务调度，Kettle缺点是通过定时运行，实时性相对较差。需求：定时的开启一个管道流，此处希望也可以定时的关闭。目前找到的方式就是下面的这个组件，以下的案例也是基于此组件展开。

Redis的Stream + WebSocket实现消息的实时推送

weixin_46051962的博客

12-04

2032

小案例通俗易懂

StreamSet mysql数据导入到hive异常问题记录

fengfengchen95的博客

11-28

2028

1. 异常问题Permission denied: user [anonymous] does not have [USE] privilege on [default] com.streamsets.pipeline.api.base.OnRecordErrorException: HIVE_23 - TBL Properties 'com.streamsets.pipeline.stage...

streamsets编译时的那些坑

知识的力量

06-22

3513

streamsets在编译时的那些坑1 问题描述commandLine 'docker', 'manifest', 'inspect', 'alpine'> Configure project :docker manifest inspect is only supported when experimental cli features are enabledFound go 1.10.1...

025-大数据ETL工具之StreamSets安装及订阅mysql binlog

weixin_34148340的博客

06-20

1538

这是坚持技术写作计划（含翻译）的第25篇，定个小目标999，每周最少2篇。本文主要介绍CDH6.2+StreamSets3.9。 StreamSets是一个大数据采集和数据处理工具。可以通过拖拽式的可视化操作，实现数据管道(Pipelines)的设计和调度。其特点有：拖拽式的可视化界面操作，上手快。对常见数据处理(数据源、数据操作、数据输出)支持较好。内置监控，可以对数据流进行观测。...

StreamSets的应用——SqlServer CDC的使用

网尘的技术专栏

12-11

2889

目录SqlServer的CDC和CT区别SqlServer的CDC配置配置同步流程小坑1：主子表外键关联小坑2：同步主表，自动生成多张子表小结系统的新旧数据需要同步，但两个系统表结构差异较大，因此决定选用StreamSet完成数据的同步，也即SqlServer和MySql的同步。 SqlServer的CDC和CT区别 StreamSets提供了CDC和Change Tracking两种凡是...

阿里大数据之路：关键总结与实践案例

"《阿里大数据之路——关键总结版》是一份详细阐述阿里巴巴在大数据领域的探索与实践经验的文档。作者分享了他们在构建和管理大规模数据仓库、实时离线计算以及数据架构方面的核心知识。内容涉及以下几个关键部分： ...