- 博客(19)
- 收藏
- 关注
原创 Postgres数据库跨模式备份迁移数据表
简介使用了python3编写的一个自动化、定时执行的脚本,可实现将一个模式下的单个或多个数据表备份至其他模式!使用方式配置config配置文件,执行./run.shstart运行即可!依赖apscheduler、psycopg2模型库。datamigrates.py主程序代码。run.sh运行python的脚本。config.py配置文件。...
2022-07-26 10:53:28
679
原创 Python定时监测服务接口是否异常
简介:通过请求服务的接口,获取返回的状态码,如果某个接口得到的异常状态为3次(次数可以控制),就会去重启这个服务。每60秒钟执行一次请求分为两个版本:一个是python3.10版,另一个是3.10以下的。区别无非是条件判断语句发生了改变,这也是新版本python3.10以来加入的新语句,实现了与C、Java、JavaScript、Rust等语言中相类似的语句(switch...case)。Python中为:match...case 具体的语法与特性,请参考官方文档...
2022-06-14 17:03:05
1085
原创 Python获取nginx日志信息
简介:项目中需要进行对nginx的信息做一些监控和获取,需求内容有:统计访问量、统计接口请求量、异常状态请求量,并嵌入至夜莺监控系统中,通过夜莺监控大盘展示出来。如果大家用不到夜莺,我已经把监控内容也都输出到了一个日志文件当中了,大家可以自行进行监控或处理配置文件config.py#!encoding=utf-8''' 作者:陈浩 更新日期:2022.5.5 名称:配置nginx路径'''#配置access日志的绝对路径access = '/usr/local/n
2022-05-26 18:03:44
891
1
原创 Python定时备份数据库(支持整库、单库、多库备份、邮件通知、定时删除旧备份)
在平时的运维过程中,备份数据库这一项是我们必不可少的一个工作,这个事情好比是一把双刃剑,运用好了,会给工作和项目上带来很大效益;反之,如果没有一个好的备份方案,那这将会是一个无底洞需求由来:公司内,备份数据库的方式可谓是多种多样,每一种备份方式都带有每一个人对它的理解。如果这些备份方案需要给各个项目中的同事去使用,难免会发生使用上的问题,通用性不强。领导后来选择了一位同事的方案(shell脚本+crontab+mailx)来集成了一个定时备份后并发送邮件通知。不久,因为好多同事对Linux的服务配置和s
2022-05-20 15:16:01
1691
1
原创 Python数据分析与处理---Pandas库介绍
一、Pandas概述Pandas是数据分析三大剑客之一,是Python的核心数据分析库,它提供了快速、灵活、明确的数据结构,能够简单、直观、快速地处理各种类型的数据,具体介绍如下所示Pandas能够处理以下类型的数据:1.与SQL或Excel表类似的数据2.有序和无序(非固定频率)的时间序列数据3.带行、列标签的矩阵数据4.任意其他形式的观测、统计数据集Pandas提供的两个主要数据结构类Series(一维)与DataFrame(二维),可以处理金融、统计、社会科学、工程等领域里
2022-05-16 21:52:34
2629
原创 Python数据处理(数据库篇-1)
记录一次工作中的数据处理事因:手动操作数据库大量的查询更新、计算等操作,这使得大量的时间流逝,而且还乏味枯燥,所以我利用python进行了这次有针对性的数据处理,建议有一定python基础的朋友读此片文章。一共实现了两个功能:1.根据一个表中的指定字段,计算出总和,最后update到此表中或者其他表中的2.根据一行的内容,计算出此表所有行的内容数据配置文件:config.py(这里的条件我没在配置文件中写,当时为了为了赶时间,直接写死在了代码中了)#!encoding=utf-8''
2022-05-13 09:55:17
474
原创 Nightingale配置自定义监控项(exec模块)
一、配置监控目录与文件的实时大小实现原理:脚本采集数据,通过telegraf的exec模块上报给夜莺展示1.配置python(代码在最后)##安装python3,有的话就跳过[root@localhost ~]# yum -y install python3##解压dirsize.tar.gz[root@localhost home]# tar -zxvf dirsize.tar.gz[root@localhost home]# cd dirsize/[root@localhos..
2022-05-05 17:24:47
1335
原创 **Nightingale** 部署文档(Linux环境)
Nightingale,简称n9e,中文名为“夜莺”。夜莺是滴滴基础平台联合滴滴云研发和开源的企业级监控解决方案。旨在满足云原生时代企业级的监控需求。Nightingale在产品完成度、系统高可用、以及用户体验方面,达到了企业级的要求,可满足不同规模用户的场景,小到几台服务,大到数十万都可以完美支撑。兼顾云原生和裸金属,支持应用监控和系统监控,插件机制灵活,插件丰富完善,具有高度的灵活性和可扩展性。在夜莺(Nightingale)的基础上进行了二次开发,支持docker化部署(不推荐),支持GPU指
2022-05-05 17:10:10
834
原创 Python实现数据库备份与恢复(定时&手动)
作用:Python定时备份数据库与恢复优化:日志输出更详细,触发异常的error信息定位更具体新增:添加了恢复数据的功能
2022-04-25 18:11:37
4293
原创 Python实现定时备份数据库-mysql篇
前言:作为运维人员,数据库的备份一定是日常工作中必不可少的一项工作,除了经常写的shell脚本来备份数据库,然后加入到Linux自带的crontab中以外,我利用了工作闲暇时间用python写了一个这样的脚本。优点:不依赖Linux环境变量,一条python命令即可完成,使用方式简单配置文件:DB_config.py使用之前根据自己环境更改配置#!/usr/bin/python3#!encoding=utf-8"""连接数据库信息"""DB_information ={ 'd
2022-04-22 15:12:35
3404
原创 Python定时任务-APScheduler框架
Python中定时任务的解决方案,总体来说有四种,分别是:crontab、 scheduler、 Celery、 APScheduler,其中 crontab不适合多台服务器的配置、scheduler太过于简单、 Celery依赖的软件比较多,比较耗资源。最好的解决方案就是 APScheduler,近期使用apscheduler执行了许多定时任务,感受还是挺不错的jar_crond.py代码#引入需要的库import osfrom subprocess import getstatusoutp
2022-04-20 10:17:35
191
原创 自定义程序加入Systemd管理
目的:快速方便管理进程、守护进程**举例说明:将geodbService程序加如systemd中管理,实现守护进程与快速管理一、创建用于systemctl的启动、重启、停止的shell脚本##进入项目目录[root@localhost ~]# cd /home/gxslzy/7106-Tomcat-GeodbService/##创建启动命令的脚本[root@localhost 7106-Tomcat-GeodbService]# vim start.sh#!/bin/bash/usr
2022-04-19 18:30:20
512
原创 Python查找目录下最大的指定个数的文件和图片
在我们平时的运维过程中,在查找、筛选、删除等操作是比较频繁的,当你的服务器老是被某个大型文件或者大型日志而占用空间的话,是很让人心烦的,不好找,还容易把业务扰乱,下面,我用python编写了一个小程序,供大家使用!目录结构:使用方法:1.创建目录:find_files 2.直接运行run.sh即可! 3.根据自己所需,选择模式find_files.py(程序运行的主函数,封装完成的方法为find_specific_...
2022-02-24 16:32:48
948
原创 Python自动化获取Linux服务状态与端口
在平时的运维工作当中 ,查看服务状态是我们必不可少的一个操作,每次在频繁的输入netstat等命令时候,感觉身心疲惫,所以为了方便关注服务的状态,特此我用python写了一个脚本!使用说明:此版本为1.0版,后续还会持续优化此脚本! 此脚本用到的库为python3的标准库,不用另其安装第三方库,方便了不可上网环境的小伙伴的工作! 脚本中包含了:tomcat、nginx、redis、mysql、apache-mq、fastdfs、...
2021-11-27 11:36:50
5090
原创 Python自动化遍历IP
使用了Python自带的库,懒人小工具,方便简洁,本地编辑器就可运行使用方法:本地编辑器方式:本人使用的为Pycharm编辑器,在Pycharm中安装IPy模块,然后运行即可! Linux方式:新建本地目录,将run.sh和get_IP.py放在该目录下即可,要求python3环境与IPy模块具备(IPy模块使用pip3 install IPy安装即可,建议配置pip3源后安装!)run.sh代码如下:特此声明我写'run.sh'脚本的作用:在Linux当中...
2021-11-27 11:13:58
2889
原创 Linux常用系统性能监控运维脚本
此脚本为上次发布版本的更新版,添加了些内容,增加了用户体验!使用方法:1.根据自己的实际环境新建自己的目录 2.将脚本’run.sh‘、'MonitorOS.py'、'alter_diskpath.sh'放到新建的目录下,并添加可执行权限 3.执行'alter_diskpath.sh'脚本来修改要监控的磁盘挂载目录!(注意:建议一次性的正确输入,此脚本未添加异常处理,执行后输错需要手动进入py脚本中手动修改!参考命令:“df -hT”) 4.执行'run
2021-11-23 17:11:32
2145
原创 Python进制转换小程序
-------《进制转换小程序》--------===使用者必读===此脚本可供运维与开发人员使用在平时的日志排查过程中,会经常用到进制转换,为了使工作效率提升,我特此用Python写了一个进制转换小程序!此小程序用到的模块少,运行速度快,体积小,更方便实用!使用方法:1.根据自己的环境新建自己的目录 2.将Hexadecimal_conversion.py放到新建的目录下 3.在当前目录下,新建一个自定义名称的shell脚本来运行此程序(此步骤可省略,看个人习惯.
2021-11-01 16:03:35
325
原创 Linux性能常用监控,自动化运维
作者是小白菜鸡,嘴下留情!===使用者必读===此脚本仅供运维人员使用!在平时的运维过程当中,可使得我们清晰、可视化、自动化来监控Linux系统的性能,进而提升效率和质量!主要监控的内容:CPU、内存、磁盘、IO使用方法:1.根据自己的实际环境新建自己的目录 2.将Shell脚本’run.sh‘和Python脚本'MonitorOS.py'放到新建的目录下,并添加可执行权限 3.打开MonitorOS.py脚本,修改disk、disk_int、disk_space...
2021-10-31 14:44:13
524
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人