![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DevOps
文章平均质量分 84
GEEK JUMP
这个作者很懒,什么都没留下…
展开
-
SkyWalking入门之Agent原理初步分析
当前稍微上点体量的互联网公司已经逐渐采用微服务的开发模式,将之前早起的单体架构系统拆分为很多的子系统,子系统封装为微服务,彼此间通过HTTP协议RESET API的方式进行相互调用或者gRPC协议进行数据协作。早期微服务之后几个的情况下,我们遇到问题可以直接简单、快速地通过采集日志进行分析,是A服务存在问题或者B服务存在问题等快速恢复服务。但是,如果微服务数量已经到达了几十个、甚至上百个,这些微服务之间的调用关系会变得错综复杂.....原创 2023-09-15 16:07:32 · 1662 阅读 · 0 评论 -
jumpserver命令记录膨胀问题
jumpserver由于命令记录terminal_command表会迅速膨胀,导致terminal_command表有了将近1000w左右的数据量,我们使用这种方式进行解决...原创 2023-08-10 21:46:40 · 438 阅读 · 0 评论 -
Crontab的sendmail邮件发送引发磁盘问题
其实配置MAILTO=root本身没什么问题,本次故障根本问题还是inode使用率没做监控,导致inode写满导致sendmail和maildrop进程堆积变为僵尸进程,占用内存与系统负载.此时有时间分析原因了,网上找了一些资料,有些朋友也遇到过这个问题,大多数是和crontab定时任务有关系。有新内容产生,说明如果配置了MAILTO=root, 且定时任务没有将标准错误和标准输出到出,则定时任务报错时发送邮件。明显并没有/usr/bin/my这个可运行程序,此时查看/var/mail/root。原创 2023-06-30 11:53:38 · 1045 阅读 · 1 评论 -
snmp_exporter监控交换机网络流量
最早是IETF的研究小组提出来的,在SGMP协议的基础之上,加上新的管理信息结构和管理信息库,让SGMP更加全面。Zabbix可以根据交换机开启的snmp服务,采集到交换机各个口的流量指标,但是由于现在已经全面转向Prometheus体系,所以只能通过一些方法将这个监控接入Prometheus。我采用文件发现的形式,将配置写在switch.json中, 这样以后修改关于交换机的信息,更改后直接热加载,如果直接写死在promeths.yml每次都要重启prometheus.运行命令测试snmp是否正常(原创 2023-06-28 16:45:24 · 4122 阅读 · 1 评论 -
Cloudcanal数据同步神器
最后,我们在网上也找了一些现成的数据同步工具,要么就是收费商业很昂贵,要么SASS(不支持私有化部署,需要安装Agent),要么开源star很少没几个人维护不敢用在生产环境。 最终发现Cloudcanal满足我们的需求: 1.支持私有化部署,整个同步过程采用Web可视化操作管理同步任务,同时还有异常监控、微信技术支持交流群(很重要,遇到问题有人解决,并且有很多技术的小伙伴相互交流) 2.Cloudcanal提供社区版许可证,可以免费使用3个月,到期后还可以继续续期。同时如果想获得更多的原创 2023-05-17 18:48:34 · 1423 阅读 · 1 评论 -
Python消费Kafka与优化
python使用kafka-python库消费kafka,消费能力一直上不去,原来是这样解决的...原创 2023-05-15 22:49:33 · 3475 阅读 · 3 评论 -
通过SSH隧道安全消费Kafka数据
通过SSH隧道的方式,在IDC服务器做一个SSH隧道代理到阿里云服务器的kafka端口,这样从公网消费的kafka数据都经过隧道进行传输,避免了数据通过明文传输的风险。但是搭建了SSH隧道后,客户端竟然不能从Kafka进行消费...原创 2023-05-09 17:24:27 · 1007 阅读 · 0 评论 -
企业开源办公虚拟专用网工具
这个不用担心, 这些IPsec VPN就是一种隧道加密速度,把【原始TCP的数据包】通过物理UDP协议来进行传输, 在这个层面你可以理解UDP是底层基础网络设施跟网线的作用差不多,我们只管真实TCP即可. 如果UDP丢包,那么TCP协议本身就是会重传,所以这些问题不用担心.还有一个不想用pptp的原因就是,我macos的电脑不支持pptp协议,找了一些替代品的软件也不行,最终抛弃这个pptp的解决方案。正好找到了一个开源办公VPN项目,支持Docker容器化部署,正合我意,给大家分享一下.原创 2022-10-17 18:27:39 · 43919 阅读 · 2 评论 -
DELL OMSA(SrvAdmin)-监控软件与Promethues结合
Dell OMSA监控与Promethues体系结合原创 2022-09-21 10:02:23 · 43724 阅读 · 1 评论 -
RabbitMQ实现延迟队列的方式
RabbitMQ实现延迟队列的方式原创 2022-07-01 17:41:17 · 45192 阅读 · 1 评论 -
Kong集群(hybrid混合)部署模式
kong集群部署与promethues指标采集原创 2022-02-10 18:21:52 · 104750 阅读 · 0 评论 -
2022最新Kong插件开发教程
Kong网关插件开发教程原创 2022-01-29 14:43:31 · 107130 阅读 · 1 评论 -
filebeat重复采集数据问题排查
一.背景 公司基于ELK的日志系统一直很稳定,不过有一天下午,微信收到Kafka topic延迟堆积告警将近6000w条数据。首先接收到告警,查看了这个业务最近7天的一个流量图,基本上量都很小,每秒也就2k左右的数据流量,但是今天下午流量直接跑到了30k/s并且持续了一段时间. 首先找到业务方负责的SRE同事,确认流量是否属于正常(不排除上线新款游戏流量暴增的情况).SRE同事确认流量异常,最近无新游戏或者活动上线,开始排查原因。我们看到的现象是,某台服务器日志文件路径应该是今天只采...原创 2021-07-18 16:12:14 · 106573 阅读 · 0 评论 -
2020Jenkins学习笔记
背景 DevOps其实是描述的是从开发人员push代码或者上线打tag发布新版本的时候,会经过一些列单元测试,集成测试,自动部署等等一系列步骤转化为自动化的一个过程。只要这些自动化脚本都做好了, 那么就节约了很多的物力和财力。 程序员只要关心自己的业务代码即可, 后面一些列繁琐的事情,打包,更新镜像等等都不用关心, 也无须关心,因为流程都是一样的,步骤也是一样的,就让脚本帮我们做就好了...原创 2019-12-09 16:09:44 · 116303 阅读 · 0 评论