数据对接-ETL之StreamSet学习之旅九Pipelines的状态监听之WebHook钉钉篇

最新推荐文章于 2022-08-06 10:40:34 发布

webmote

最新推荐文章于 2022-08-06 10:40:34 发布

阅读量1k

点赞数 2

分类专栏： StreamSet 文章标签：钉钉机器人 streamset 状态监听 ETL

本文链接：https://blog.csdn.net/codeex/article/details/108795501

版权

StreamSet 专栏收录该内容

25 篇文章 283 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何使用StreamSets的状态监听功能，结合钉钉的WebHook实现ETL过程的状态通知。详细讲解了配置WebHook、设置自定义关键词以及建立Pipeline的步骤，以确保在状态变化时接收到钉钉机器人的实时消息。

摘要由CSDN通过智能技术生成

有博友留言，让我介绍下StreamSets的状态监听以及钉钉的webhook的互联，这位博友问的恰是时候，不久前我刚刚对接过钉钉的机器人，这次看到这个问题，对我来说，应该轻车熟路了，那就有了这篇博文，状态监听之钉钉篇。

Pipelines的状态监听

熟悉Pipelines的童鞋，应该注意过在Pipelines的配置项内，有一项是通知，大概的位置如下：
在这里插入图片描述
在这里可以采用Email方式或者Webhooks方式对状态的变化进行监听。
状态监听包含以下状态：

序号	状态	描述
1	Running	运行状态
2	Start_Error	启动时错误，无法启动，Pipeline并没有启动
3	Run_Error	Pipeline 在运行和停止时碰到一个严重错误</

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

webmote

关注关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
打赏
9
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

【StreamSet】ETL之StreamSet之Pipelines的状态监听之WebHook钉钉篇

m0_54252387的博客

08-06

331

介绍下StreamSets的状态监听以及钉钉的webhook的互联，这位博友问的恰是时候，不久前我刚刚对接过钉钉的机器人，这次看到这个问题，对我来说，应该轻车熟路了，那就有了这篇博文，状态监听之钉钉篇。...

StreamSet操作

allen的博客

11-29

1662

MySQL 新建pipline 新建 MySQL jdbc数据源 select * from tmp_class_code where id > ${OFFSET} order by id 数据源JDBC配置配置当前工作面指定错误记录存储位置，注意：该文件夹权限为：sdc:sdc(streamset运行节点) 新建hive metadata 配置：设置带用户密码的...

9 条评论您还未登录，请先登录后发表或查看评论

Streamsets 介绍

风清若淡的博客

12-24

2492

StreamSet 介绍 Streamsets是一款大数据实时采集和ETL工具，可以实现不写一行代码完成数据的采集和流转。通过拖拽式的可视化界面，实现数据管道(Pipelines)的设计和定时任务调度。最大的特点有：1、可视化界面操作，可以直观排查错误；2、内置监控，可是实时查看数据流传输的基本信息和数据的质量；3、强大的整合力，对现有常用组件全力支持。 StreamSet 安装 1. Docker 安装 2. RPM 安装 ...

StreamSets实战之路（十五）-实战篇- 数据采集与处理

Macalzheng的专栏

02-24

3629

主要通过一个数据采集与处理的案例来介绍Streamsets（3.13.0）的使用，主要将使用Edge数据流收集streamsets系统的日志和主机性能指标，通过收集数据流收集类数据并进行简单处理，发送至kafka中，性能指标数据入库数据流和日志数据入库数据流分别从kafka中消费数据，并将两类数据进行简单处理加载到数据库中。学习目的：使用edge和streamset的数据互动，使用streamset进行分布式异步数据处理。

streamsets视频教程，不知道有多少集

daydaylearn的专栏

06-26

390

有一套streamsets视频教程，根据作者的实时数仓项目进度在持续更新，很有特点吧？还有一个特点就是售后服务，免费解决实时数仓架构问题，各种技术问题，以及免费出解决方案。作者十五年的IT从业经验，大数据经验丰富，目前专注于湖仓一体架构的落地，是一个不可多得的资源！！！！！！ https://edu.csdn.net/course/detail/32343 可以通过上面视频链接了解详情！ ...

streamset 数据合并_JAVA.Stream函数，优雅的数据流操作

weixin_39845113的博客

02-04

844

前言平时操作集合数据，我们一般都是for或者iterator去遍历，不是很好看。java提供了Stream的概念，它可以让我们把集合数据当做一个个元素在处理，并且提供多线程模式流的创建流的各种数据操作流的终止操作流的聚合处理并发流和CompletableFuture的配合使用1 stream的构造方式stream内置的构造方法public static Stream iterate(final T...

STREAMSETS自学——导入外部包

jinxlzc的博客

04-30

1978

在使用StreamSets做数据迁移时，目前我进行的是MySQL，SQL server，Oracle之间的数据迁移，所以我要导入如下的外部包首先建立如下目录：然后将需要的包放置lib目录下：然后把sdc-extras目录使用WinSCP复制到当时解压StreamSets的目录下载：配置环境变量，将下面的语句添加到 /etc/profile 后面 export...

数据对接-ETL之StreamSet学习之旅七微服务

网尘的技术专栏

01-16

2508

StreamSet作为大数据ETL工具的选择，当然需要处理数据的合并与转存，其大部分功能集中于此。有些场景可能需要其对外提供个接口，可以被调用，StreamSets能做到吗？答案是能！并且能做当今流行的微服务，啊！好高大上~，今天就来看看吧。目录学习系列1、Restful风格的Api2、建立Api3、测试一下3.1 大名鼎鼎的Postman，后端程序员必备3.2 测试专业级Jmeter3.3...

数据对接-ETL之StreamSet学习之旅三

网尘的技术专栏

12-07

3993

目录目标JavaScript Evaluator结论引用链接本篇文章是StreamSet的进阶篇，主要讲述其Js脚本评估器的用法。目标本次的目标是，对文本文件进行解析，读取的文本文件已经按回车换行分隔成Records数组，我们要做的是，按照固定长度对Records的内容进行解析，拆分成一个json对象。因为拆分字符串比较复杂，因此，首先是使用脚本解析。 JavaScript Eva...

goodreads_etl_pipeline:用于构建数据湖，数据仓库和分析平台的端到端GoodReads数据管道

03-20

GoodReads数据管道建筑学管道包括各种模块： ETL职位 Redshift仓库模块分析模块概述使用Goodreads Python包装器从Goodreads API实时捕获数据（查看用法）。从Goodreads API收集的数据存储在本地磁盘上，并及时移至AWS S3上的Landing Bucket。 ETL作业以火花形式编写，并按气流计划以每10分钟运行一次。 ETL流程从API收集的数据将移至着陆区s3存储桶。 ETL作业具有s3模块，该模块将数据从着陆区复制到工作区。数据移至工作区后，将触发火花作业，该火花作业将从工作区读取数据并进行转换。数据集已重新分区并移至“已处理区域”。 ETL作业的仓库模块从已处理区域中拾取数据并将其分段到Redshift临时表中。使用Redshift暂存表并在Data Warehouse表上执行UPSERT操作以更新数据集。

shell 操作钉钉机器人实现告警提醒的方法

01-09

我们知道，之前的运维告警多通过mail 等方式通知到相应的人员，难以实现随时随地的查看。随着手机APP的发展，很多告警开始发送到IM软件上去。目前比较常用的是发送到微信和钉钉上，今天我们将重点放在钉钉上。群机器人是钉钉群的高级扩展功能，群机器人可以将第三方服务的信息聚合到群聊中，实现自动化的信息同步。借助钉钉机器人，通过官方提供的API，可以很方便的post数据到相应的接收人。群机器人支持Webhook协议的自定义接入，支持更多可能性，例如：你可将运维报警通过自定义机器人聚合到钉钉群实现提醒功能。 Shell 脚本语言是实现Linux系统管理及自动化所必须的重要工具。熟练地编写Shell语言

etl_pipeline:PharmaDB ETL管道的脚本

04-05

etl_pipeline PharmaDB ETL管道的脚本运行本地设置使用docker-compose build构建docker镜像使用docker-compose up启动容器蒙戈数据库 Mongo数据库在localhost:27017处公开。通过执行到容器中，可以访问mongo shell，以查看/操作数据。使用绑定安装将本地文件夹mongo/data附加到数据库容器，以映射到数据库的数据文件夹。即使删除了容器，这也保留了数据。蒙哥快车访问Mongo Express查看器的localhost:8081 ，该查看器提供了一个有限的UI来浏览Mongo DB中的数据。清理 docker-compose down运行docker-compose down停止并删除所有容器。注意：Mongo数据应保留在./mongo/ 。

etl_pipeline:PySpark ETL管道演示

04-06

ETL管道演示概括该存储库中有一个示例，我将其汇总为一个示例抽取-转换-加载（ETL）管道。我正在使用GeoNames网站上的。该管道的目的是演示使用PySpark提取，转换和加载公共可用的地理数据。使用PySpark是因为消耗了大量数据；其中一个数据集包含超过1200万行。数据本身可用于希望分析周围州的社会地理特征的自然地理特征的地理爱好者或专业人士。资料模型最终模型包括一个事实表，所述geo_info表，以及两个维度表中， geonames表和country_info表。开发geo_info表是为了排除执行临时查询的用户可能不会立即关注的无关参数。尺寸表提供了其他信息，用户可以选择进一步调查这些信息。数据字典 geo_info表柱子数据类型描述 geoname_id 整型地理地名ID 别名细绳功能的ASCII名称表示纬度漂浮功能范围经度

streamsets-帮助手册

10-12

《streamsets-帮助手册》英文带目录版，这个工具估计用的人估计不多，但是做大数据平台的etl工具用还是很强大的，想学的话慢慢看很有用。平台竟然把分调到这个高，分#不$^够的可以私*信wo解决，看到会回复，希望不被和#谐

数据对接-ETL之StreamSet学习之旅十与RabbitMq面对面

网尘的技术专栏

11-14

572

很多朋友咨询过我，说怎么能够和MQ进行通信，怎么配置参数，和监听消息，这里我就以一个消费者的身份，来消费来自MQ的消息目录学习系列连接MQ一个小坑：连接限制读取速度数据处理MQ处理的遗憾我的MQ链接配置如下：小结学习系列数据对接-ETL之StreamSet学习之旅一数据对接-ETL之StreamSet学习之旅二数据对接-ETL之StreamSet学习之旅三数据对接-ETL之StreamSet学习之旅四数据对接-ETL之StreamSet学习之旅五数据对接-ETL之StreamSet学习.

数据对接-ETL之StreamSet学习之旅一