
DevOps
文章平均质量分 84
程序员Rocky
这个作者很懒,什么都没留下…
展开
-
iptables的“4表5链”-NAT功能
iptables 是 Linux 系统中用于配置防火墙规则的工具,它借助内核中的 netfilter 框架来实现对网络数据包的过滤、网络地址转换(NAT)以及数据包处理等功能。iptables掌握基本的filter表、nat表即可,如果实在遇到复杂的需求,再查找相关资料进行满足即可。一般情况下的需求也用不到那么多表的操作。原创 2025-04-14 16:05:30 · 742 阅读 · 0 评论 -
Docker容器网络与NAT
docker的容器之间相互访问,可以通过veth和docker0网桥实现,源地址、目的地址都不需要做变化,就是在二层网络进行传输,不需要网关的参与。但是如果涉及到数据出宿主机则使用SNAT做源地址转换,源数据包转换为宿主机IP地址才能通过宿主机的网卡路由出去,反之,如果想访问我容器的服务,则经过宿主机的时候要做DNAT,将数据包的目的IP和端口,改为容器的内网IP和端口,容器才能正常响应。原创 2025-04-14 11:41:07 · 869 阅读 · 0 评论 -
Python3离线安装第三方包
某些企业,特别是国企、或者涉密单位或者对安全要求比较高的环境下,服务器无法连接互联网。 那么我们的pip install就无法正常工作了。 那怎么办呢? 我就需要安装第三方包啊。别急,我们可以使用离线安装的方式来实现这个需求......原创 2024-12-11 16:21:25 · 1048 阅读 · 0 评论 -
Python+Selenium无头浏览器实现网页截图
Selenium就是个自动化测试框架,底层还可以切换控制Chrome、火狐等等相关浏览器驱动。。可以使用Python+Selenium的方式进行网页截图等等相关工作原创 2024-11-25 21:56:42 · 571 阅读 · 0 评论 -
Chaosblade混沌工程工具
Chaosblade?阿里巴巴开源的一款简单易用、功能强大的混沌实验注入工具。ChaosBlade是一个云原生混沌工程平台,支持多种环境、集群和语言。包含混沌工程实验工具 chaosblade 和混沌工程平台 chaosblade-box,旨在通过混沌工程帮助企业解决云原生过程中高可用问题。github地址:官网地址:混沌工程的Chaosblade开源工具,可以帮助我们模拟一些预设的故障, 之后针对这些故障我们如何应对?如何优化程序, 或者如何避免因为这些故障而导致系统产生不可用的情况。原创 2024-11-21 14:05:45 · 893 阅读 · 1 评论 -
SkyWalking入门之Agent原理初步分析
当前稍微上点体量的互联网公司已经逐渐采用微服务的开发模式,将之前早起的单体架构系统拆分为很多的子系统,子系统封装为微服务,彼此间通过HTTP协议RESET API的方式进行相互调用或者gRPC协议进行数据协作。早期微服务之后几个的情况下,我们遇到问题可以直接简单、快速地通过采集日志进行分析,是A服务存在问题或者B服务存在问题等快速恢复服务。但是,如果微服务数量已经到达了几十个、甚至上百个,这些微服务之间的调用关系会变得错综复杂.....原创 2023-09-15 16:07:32 · 2761 阅读 · 0 评论 -
jumpserver命令记录膨胀问题
jumpserver由于命令记录terminal_command表会迅速膨胀,导致terminal_command表有了将近1000w左右的数据量,我们使用这种方式进行解决...原创 2023-08-10 21:46:40 · 633 阅读 · 0 评论 -
Crontab的sendmail邮件发送引发磁盘问题
其实配置MAILTO=root本身没什么问题,本次故障根本问题还是inode使用率没做监控,导致inode写满导致sendmail和maildrop进程堆积变为僵尸进程,占用内存与系统负载.此时有时间分析原因了,网上找了一些资料,有些朋友也遇到过这个问题,大多数是和crontab定时任务有关系。有新内容产生,说明如果配置了MAILTO=root, 且定时任务没有将标准错误和标准输出到出,则定时任务报错时发送邮件。明显并没有/usr/bin/my这个可运行程序,此时查看/var/mail/root。原创 2023-06-30 11:53:38 · 1277 阅读 · 1 评论 -
snmp_exporter监控交换机网络流量
最早是IETF的研究小组提出来的,在SGMP协议的基础之上,加上新的管理信息结构和管理信息库,让SGMP更加全面。Zabbix可以根据交换机开启的snmp服务,采集到交换机各个口的流量指标,但是由于现在已经全面转向Prometheus体系,所以只能通过一些方法将这个监控接入Prometheus。我采用文件发现的形式,将配置写在switch.json中, 这样以后修改关于交换机的信息,更改后直接热加载,如果直接写死在promeths.yml每次都要重启prometheus.运行命令测试snmp是否正常(原创 2023-06-28 16:45:24 · 4951 阅读 · 2 评论 -
Cloudcanal数据同步神器
最后,我们在网上也找了一些现成的数据同步工具,要么就是收费商业很昂贵,要么SASS(不支持私有化部署,需要安装Agent),要么开源star很少没几个人维护不敢用在生产环境。 最终发现Cloudcanal满足我们的需求: 1.支持私有化部署,整个同步过程采用Web可视化操作管理同步任务,同时还有异常监控、微信技术支持交流群(很重要,遇到问题有人解决,并且有很多技术的小伙伴相互交流) 2.Cloudcanal提供社区版许可证,可以免费使用3个月,到期后还可以继续续期。同时如果想获得更多的原创 2023-05-17 18:48:34 · 1669 阅读 · 5 评论 -
Python消费Kafka与优化
python使用kafka-python库消费kafka,消费能力一直上不去,原来是这样解决的...原创 2023-05-15 22:49:33 · 3977 阅读 · 5 评论 -
通过SSH隧道安全消费Kafka数据
通过SSH隧道的方式,在IDC服务器做一个SSH隧道代理到阿里云服务器的kafka端口,这样从公网消费的kafka数据都经过隧道进行传输,避免了数据通过明文传输的风险。但是搭建了SSH隧道后,客户端竟然不能从Kafka进行消费...原创 2023-05-09 17:24:27 · 1245 阅读 · 0 评论 -
企业开源办公虚拟专用网工具
这个不用担心, 这些IPsec VPN就是一种隧道加密速度,把【原始TCP的数据包】通过物理UDP协议来进行传输, 在这个层面你可以理解UDP是底层基础网络设施跟网线的作用差不多,我们只管真实TCP即可. 如果UDP丢包,那么TCP协议本身就是会重传,所以这些问题不用担心.还有一个不想用pptp的原因就是,我macos的电脑不支持pptp协议,找了一些替代品的软件也不行,最终抛弃这个pptp的解决方案。正好找到了一个开源办公VPN项目,支持Docker容器化部署,正合我意,给大家分享一下.原创 2022-10-17 18:27:39 · 44045 阅读 · 2 评论 -
DELL OMSA(SrvAdmin)-监控软件与Promethues结合
Dell OMSA监控与Promethues体系结合原创 2022-09-21 10:02:23 · 43939 阅读 · 1 评论 -
RabbitMQ实现延迟队列的方式
RabbitMQ实现延迟队列的方式原创 2022-07-01 17:41:17 · 45259 阅读 · 1 评论 -
Kong集群(hybrid混合)部署模式
kong集群部署与promethues指标采集原创 2022-02-10 18:21:52 · 104896 阅读 · 0 评论 -
2022最新Kong插件开发教程
Kong网关插件开发教程原创 2022-01-29 14:43:31 · 107298 阅读 · 1 评论 -
filebeat重复采集数据问题排查
一.背景 公司基于ELK的日志系统一直很稳定,不过有一天下午,微信收到Kafka topic延迟堆积告警将近6000w条数据。首先接收到告警,查看了这个业务最近7天的一个流量图,基本上量都很小,每秒也就2k左右的数据流量,但是今天下午流量直接跑到了30k/s并且持续了一段时间. 首先找到业务方负责的SRE同事,确认流量是否属于正常(不排除上线新款游戏流量暴增的情况).SRE同事确认流量异常,最近无新游戏或者活动上线,开始排查原因。我们看到的现象是,某台服务器日志文件路径应该是今天只采...原创 2021-07-18 16:12:14 · 106943 阅读 · 0 评论 -
2020Jenkins学习笔记
背景 DevOps其实是描述的是从开发人员push代码或者上线打tag发布新版本的时候,会经过一些列单元测试,集成测试,自动部署等等一系列步骤转化为自动化的一个过程。只要这些自动化脚本都做好了, 那么就节约了很多的物力和财力。 程序员只要关心自己的业务代码即可, 后面一些列繁琐的事情,打包,更新镜像等等都不用关心, 也无须关心,因为流程都是一样的,步骤也是一样的,就让脚本帮我们做就好了...原创 2019-12-09 16:09:44 · 116334 阅读 · 0 评论