Meepoljd的博客

个人电脑崩了，重新做了下环境

Ansible是一个极其简单的 IT 自动化引擎，可自动执行云配置、配置管理、应用程序部署、服务内编排和许多其他 IT 需求；基本上每一个运维工程师都会听过或者使用过Ansible（这是必然的，只要你需要管理超过2位数的服务器，Ansible基本是一个必备的工具），如果你还不知道Ansible是怎么用的，一定要找一个环境试试，这是一个真正让运维工作自动化并且事半功倍的工具。

这个事情的背景是生产环境的数据采集流程时不时会出问题（这个也是不可避免的），目前的处理手段是：所有的数据接口服务器（也就是存放原始数据等待采集的服务器）都部署一模一样的2台，数据也传的一模一样，然后当采集程序采集当前节点的数据异常的时候，由运维人员去改配置手动的切换。这样操作面临的问题不用多说，首先就是时效性的问题，就算数据断了能够及时发出告警，等到运维人员处理完成那也是至少几十分钟后了，所以高可用的实现还是很有必要的。

FastAPI的学习记录，包含模型的定义以及不同请求信息的设置

使用FastAPI框架的过程中一些学习记录，包含基础的查询参数、路径参数以及请求体的参数绑定和处理

Pyppeteer是对Puppeteer的一个Python封装，常用在爬虫方面，最近使用它做网页巡检报告的截图，记录一下。

记录了一下最近使用Pyecharts做数据可视化的经历

在规模比较大的HDFS集群里，每天最容易出现的问题便是磁盘问题，我们的大集群1700+的DataNode节点，基本上每天都有磁盘损坏（虽然我也不知道是不是和磁盘的质量有关），有时候是磁盘直接读写错误，有时候是磁盘直接报废，无论怎样，这种情况都需要人工介入处理，如果某几天维护人员都很忙，或者碰到那种恶心的客户天天逮着你做他们的事情，这种坏盘的处理就有可能被搁置。

这周成都可算是复工了，上周居家办公的时候，配合其他同事线上对各个集群的Ambari元数据库做了迁移工作，因为这个迁移不涉及组件的变更，所以当时做完没有去做所有集群的服务组件启停的测试，只是做了抽查，毕竟30多个集群，大部分的集群只是观察了一会主机的监控和agent上报就没管了。昨天下午，突然接到同事的会议邀请，说是有个集群服务启停不正常，Spark Worker重启都失败了，于是就上去和他们一起看了下，其实问题也是人为疏忽导致的，这里做了一下记录。

问题记录问题1：信号没有按预期触发描述编写了信号函数后，并没有如预期一般在必要时候触发，函数如下：@receiver(signals.post_save, sender=Prometheus)def monitor_prometheus_update(instance, **kwargs): # 当发生修改时，更新控制台url web_url = "http://{ip}:{port}/{route}".format(ip=instance.ip, port=i

前端时间忙完了安全漏洞修复相关的工作后可算是闲下来一些了，想着写点什么，正好遇到客户放强推堡垒机，以后VPN这些连接环境的手段就无法使用了，而客户这边的堡垒机访问web页面的体验那真是一言难尽，所以为了能够方便做一些日常的运维、启停的操作，想写一个命令行工具，用来对接ambari，开个坑先，如果内部团队用的好的话，说不定以后再把这个继续做下去:D...

Ansible API 2.10.5 运行playbook记录

使用信号机制保证Model的字段规则需求描述实现方式需求描述最近在写Django DRM，我这里有一个Model，是记录节点信息的，几个相关字段如下：字段名字段描述备注node_id节点的ID主键，但是根据IP生成node_ip节点的IP节点的IP地址web_url节点服务的URL和IP也是关联的现在的需求就是，在创建、更改一条节点信息时，node_id和web_url同步做校验修改，如下：实现方式这里采用Django的信号机制来实现这个需求。