![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
消息中间件
文章平均质量分 85
冰帆<
这个作者很懒,什么都没留下…
展开
-
hivesql失败告警发送到企业微信
离线数仓一般情况下都是通过写hive sql方式,利用调度系统再hive sql脚本,进行数仓分层,而调度系统是针对任务粒度的,而且一般都不支持发送到企业微信,针对这一痛点,本文利用hivehook 监听hive sql,将hive sql 的错误信息发送到kafka,另外python 程序实时kafka的数据,并发送到企业微信。流程图如下:Hook是一种在处理过程中拦截事件,消息或函数调用的机制。Hive hooks是绑定到了Hive内部的工作机制,提供了使用hive扩展和集成外部功能的能力。原创 2022-12-21 18:08:19 · 279 阅读 · 0 评论 -
使用clickhouse kafka表引擎消费kafka写入clickhouse
本文使用seatunnel 消费kafka数据写入clickhouse文章的kafka topic,用另一种方式写入clickhouse,也是练习下clickhouse kafka引擎。本文也默认已安装了kafka与clickhouse,这方面的安装文档很多,这里不做详述;前提准备 kafka :2.7.0;通过filebeat 写入kafka一、kafka数据格式使用kafka 命令查看数据格式:{},},},},"ecs": {},"host": {},"log": {原创 2022-12-15 17:50:47 · 2373 阅读 · 0 评论 -
监控RocketMQ消费数据延迟告警发送企业微信
当前安装的rocketMQ 版本:3.4.6架构:2主2从阿里云主机安装RocketMQ 集群支持外网访问本文结合实际业务场景介绍了监控rocketmq消费者组消息堆积,将RocketMQ消费者组消费数据写入mysql,并向企业微信发送告警,作为抛砖引玉,大家可以结合自己场景,修改脚本做其他业务的监控。若有疑问,可以留言咨询。原创 2022-10-24 18:03:57 · 1262 阅读 · 0 评论 -
阿里云主机安装RocketMQ 集群支持外网访问
背景:因公司迁移机房,需要在云主机上部署一套和本地一样的rocketMQ,原本计划直接购买云rocketMQ,云rocketMQ仅支持5.0.0,本地rocketMQ 是3.4.6,公司多个服务都使用本地的3.4.6版本的RocketMQ,所以需要再云上搭建一套简易版RocketMQ集群,并支持外网访问。准备:两台开通外网的云主机,带宽100M,16G内存,500G硬盘,两台成本1000+设置主机名,安装jdk,配置免密等等,前期的准备工作。因为是只有两台,所以规划是2m-noslave。原创 2022-10-20 11:42:51 · 968 阅读 · 0 评论