- 博客(19)
- 收藏
- 关注
RSS订阅原创 Postgres数据库跨模式备份迁移数据表
简介使用了python3编写的一个自动化、定时执行的脚本，可实现将一个模式下的单个或多个数据表备份至其他模式！使用方式配置config配置文件，执行./run.shstart运行即可！依赖apscheduler、psycopg2模型库。datamigrates.py主程序代码。run.sh运行python的脚本。config.py配置文件。...
2022-07-26 10:53:28
713
原创 Python定时监测服务接口是否异常
简介：通过请求服务的接口，获取返回的状态码，如果某个接口得到的异常状态为3次（次数可以控制），就会去重启这个服务。每60秒钟执行一次请求分为两个版本：一个是python3.10版，另一个是3.10以下的。区别无非是条件判断语句发生了改变，这也是新版本python3.10以来加入的新语句，实现了与C、Java、JavaScript、Rust等语言中相类似的语句（switch...case）。Python中为：match...case 具体的语法与特性，请参考官方文档...
2022-06-14 17:03:05
1121
原创 Python获取nginx日志信息
简介：项目中需要进行对nginx的信息做一些监控和获取，需求内容有：统计访问量、统计接口请求量、异常状态请求量，并嵌入至夜莺监控系统中，通过夜莺监控大盘展示出来。如果大家用不到夜莺，我已经把监控内容也都输出到了一个日志文件当中了，大家可以自行进行监控或处理配置文件config.py#!encoding=utf-8''' 作者：陈浩 更新日期：2022.5.5 名称：配置nginx路径'''#配置access日志的绝对路径access = '/usr/local/n
2022-05-26 18:03:44
931
1
原创 Python定时备份数据库（支持整库、单库、多库备份、邮件通知、定时删除旧备份）
在平时的运维过程中，备份数据库这一项是我们必不可少的一个工作，这个事情好比是一把双刃剑，运用好了，会给工作和项目上带来很大效益；反之，如果没有一个好的备份方案，那这将会是一个无底洞需求由来：公司内，备份数据库的方式可谓是多种多样，每一种备份方式都带有每一个人对它的理解。如果这些备份方案需要给各个项目中的同事去使用，难免会发生使用上的问题，通用性不强。领导后来选择了一位同事的方案（shell脚本+crontab+mailx）来集成了一个定时备份后并发送邮件通知。不久，因为好多同事对Linux的服务配置和s
2022-05-20 15:16:01
1740
1
原创 Python数据分析与处理---Pandas库介绍
一、Pandas概述Pandas是数据分析三大剑客之一，是Python的核心数据分析库，它提供了快速、灵活、明确的数据结构，能够简单、直观、快速地处理各种类型的数据，具体介绍如下所示Pandas能够处理以下类型的数据：1.与SQL或Excel表类似的数据2.有序和无序（非固定频率）的时间序列数据3.带行、列标签的矩阵数据4.任意其他形式的观测、统计数据集Pandas提供的两个主要数据结构类Series（一维）与DataFrame（二维），可以处理金融、统计、社会科学、工程等领域里
2022-05-16 21:52:34
2688
原创 Python数据处理（数据库篇-1）
记录一次工作中的数据处理事因：手动操作数据库大量的查询更新、计算等操作，这使得大量的时间流逝，而且还乏味枯燥，所以我利用python进行了这次有针对性的数据处理，建议有一定python基础的朋友读此片文章。一共实现了两个功能：1.根据一个表中的指定字段，计算出总和，最后update到此表中或者其他表中的2.根据一行的内容，计算出此表所有行的内容数据配置文件：config.py（这里的条件我没在配置文件中写，当时为了为了赶时间，直接写死在了代码中了）#!encoding=utf-8''
2022-05-13 09:55:17
500
原创 Nightingale配置自定义监控项（exec模块）
一、配置监控目录与文件的实时大小实现原理：脚本采集数据，通过telegraf的exec模块上报给夜莺展示1.配置python（代码在最后）##安装python3，有的话就跳过[root@localhost ~]# yum -y install python3##解压dirsize.tar.gz[root@localhost home]# tar -zxvf dirsize.tar.gz[root@localhost home]# cd dirsize/[root@localhos..
2022-05-05 17:24:47
1409
原创 **Nightingale** 部署文档（Linux环境）
Nightingale，简称n9e，中文名为“夜莺”。夜莺是滴滴基础平台联合滴滴云研发和开源的企业级监控解决方案。旨在满足云原生时代企业级的监控需求。Nightingale在产品完成度、系统高可用、以及用户体验方面，达到了企业级的要求，可满足不同规模用户的场景，小到几台服务，大到数十万都可以完美支撑。兼顾云原生和裸金属，支持应用监控和系统监控，插件机制灵活，插件丰富完善，具有高度的灵活性和可扩展性。在夜莺（Nightingale）的基础上进行了二次开发，支持docker化部署（不推荐），支持GPU指
2022-05-05 17:10:10
901
原创 Python实现数据库备份与恢复（定时&手动）
作用：Python定时备份数据库与恢复优化：日志输出更详细，触发异常的error信息定位更具体新增：添加了恢复数据的功能
2022-04-25 18:11:37
4435
原创 Python实现定时备份数据库-mysql篇
前言：作为运维人员，数据库的备份一定是日常工作中必不可少的一项工作，除了经常写的shell脚本来备份数据库，然后加入到Linux自带的crontab中以外，我利用了工作闲暇时间用python写了一个这样的脚本。优点：不依赖Linux环境变量，一条python命令即可完成，使用方式简单配置文件：DB_config.py使用之前根据自己环境更改配置#!/usr/bin/python3#!encoding=utf-8"""连接数据库信息"""DB_information ={ 'd
2022-04-22 15:12:35
3464
原创 Python定时任务-APScheduler框架
Python中定时任务的解决方案，总体来说有四种，分别是：crontab、 scheduler、 Celery、 APScheduler，其中 crontab不适合多台服务器的配置、scheduler太过于简单、 Celery依赖的软件比较多，比较耗资源。最好的解决方案就是 APScheduler，近期使用apscheduler执行了许多定时任务，感受还是挺不错的jar_crond.py代码#引入需要的库import osfrom subprocess import getstatusoutp
2022-04-20 10:17:35
209
原创 自定义程序加入Systemd管理
目的：快速方便管理进程、守护进程**举例说明：将geodbService程序加如systemd中管理，实现守护进程与快速管理一、创建用于systemctl的启动、重启、停止的shell脚本##进入项目目录[root@localhost ~]# cd /home/gxslzy/7106-Tomcat-GeodbService/##创建启动命令的脚本[root@localhost 7106-Tomcat-GeodbService]# vim start.sh#!/bin/bash/usr
2022-04-19 18:30:20
539
原创 Python查找目录下最大的指定个数的文件和图片
在我们平时的运维过程中，在查找、筛选、删除等操作是比较频繁的，当你的服务器老是被某个大型文件或者大型日志而占用空间的话，是很让人心烦的，不好找，还容易把业务扰乱，下面，我用python编写了一个小程序，供大家使用！目录结构：使用方法：1.创建目录：find_files 2.直接运行run.sh即可！ 3.根据自己所需，选择模式find_files.py（程序运行的主函数，封装完成的方法为find_specific_...
2022-02-24 16:32:48
961
原创 Python自动化获取Linux服务状态与端口
在平时的运维工作当中 ，查看服务状态是我们必不可少的一个操作，每次在频繁的输入netstat等命令时候，感觉身心疲惫，所以为了方便关注服务的状态，特此我用python写了一个脚本！使用说明：此版本为1.0版，后续还会持续优化此脚本！ 此脚本用到的库为python3的标准库，不用另其安装第三方库，方便了不可上网环境的小伙伴的工作！ 脚本中包含了：tomcat、nginx、redis、mysql、apache-mq、fastdfs、...
2021-11-27 11:36:50
5118
原创 Python自动化遍历IP
使用了Python自带的库，懒人小工具，方便简洁，本地编辑器就可运行使用方法：本地编辑器方式：本人使用的为Pycharm编辑器，在Pycharm中安装IPy模块，然后运行即可！ Linux方式：新建本地目录，将run.sh和get_IP.py放在该目录下即可，要求python3环境与IPy模块具备（IPy模块使用pip3 install IPy安装即可，建议配置pip3源后安装！）run.sh代码如下：特此声明我写'run.sh'脚本的作用：在Linux当中...
2021-11-27 11:13:58
2921
原创 Linux常用系统性能监控运维脚本
此脚本为上次发布版本的更新版，添加了些内容，增加了用户体验！使用方法：1.根据自己的实际环境新建自己的目录 2.将脚本’run.sh‘、'MonitorOS.py'、'alter_diskpath.sh'放到新建的目录下，并添加可执行权限 3.执行'alter_diskpath.sh'脚本来修改要监控的磁盘挂载目录！（注意：建议一次性的正确输入，此脚本未添加异常处理，执行后输错需要手动进入py脚本中手动修改！参考命令：“df -hT”） 4.执行'run
2021-11-23 17:11:32
2186
原创 Python进制转换小程序
-------《进制转换小程序》--------===使用者必读===此脚本可供运维与开发人员使用在平时的日志排查过程中，会经常用到进制转换，为了使工作效率提升，我特此用Python写了一个进制转换小程序！此小程序用到的模块少，运行速度快，体积小，更方便实用！使用方法：1.根据自己的环境新建自己的目录 2.将Hexadecimal_conversion.py放到新建的目录下 3.在当前目录下，新建一个自定义名称的shell脚本来运行此程序（此步骤可省略，看个人习惯.
2021-11-01 16:03:35
348
原创 Linux性能常用监控，自动化运维
作者是小白菜鸡，嘴下留情！===使用者必读===此脚本仅供运维人员使用！在平时的运维过程当中，可使得我们清晰、可视化、自动化来监控Linux系统的性能，进而提升效率和质量！主要监控的内容：CPU、内存、磁盘、IO使用方法：1.根据自己的实际环境新建自己的目录 2.将Shell脚本’run.sh‘和Python脚本'MonitorOS.py'放到新建的目录下，并添加可执行权限 3.打开MonitorOS.py脚本，修改disk、disk_int、disk_space...
2021-10-31 14:44:13
544
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人