三支烟-CSDN博客

原创手机号进行md5加密 python

import pandas as pdimport hashlibdef get_md5(x): md = hashlib.md5() md.update(x.encode()) md_result = md.hexdigest() return md_resultdef to_md5(file): df = pd.read_excel(file) columns = df.columns.tolist()[0] # df[columns

2021-11-04 14:34:39 2929

转载 LDAP部署文档

环境centos7一、部署OpenLDAP1、安装openLDAP[root@ldapserver ~]# yum install -y openldap-servers openldap-clients migrationtools[root@ldapserver ~]# slapd -VV #查看版本@(#) $OpenLDAP: slapd 2.4.44 (Jan 29 20...

2020-03-17 21:05:56 2682

原创 date常见用法

选项-d<字符串>：显示字符串所指的日期与时间。字符串前后必须加上双引号；-s<字符串>：根据字符串来设置日期与时间。字符串前后必须加上双引号；-u：显示GMT；--help：在线帮助；--version：显示版本信息。日期格式字符串列表%H 小时，24小时制（00~23）%I 小时，12小时制（01~12）%k 小时，24小时制（0~23）%l 小时...

2019-12-05 10:07:17 2596

原创 postgresql 10.10部署timesacledb1.3.2

背景公司的zabbix监控用的是mysql数据库，mysql数据库单表超过1亿行数据的时候，会产生性能问题；由于zabbix自带housekeeper会定时清理过期的历史数据，同时又有好多数据在写入，导致产生过多的慢sql，影响zabbix server正常运行；现在考虑将mysql数据库替换成timescaledb时间序列数据库（官方已经支持）zabbix官网博客： https://...

2019-12-04 16:04:54 790

原创 zabbix自动发现监控日志异常字段

公司服务器出现java应用内存溢出的情况，导致应用异常；之前也没有做过监控，现在通过读取每个工程的日志来检测异常字段进行报警；1、先写脚本获取到那个工程的日志文件的绝对路径cat log_collect.py#!/usr/bin/python3# -*- coding: utf-8 -*-'''此脚本文件用于获取需要监控的日志文件的绝对路径'''import os, jsonfi...

2019-11-04 14:59:24 3713

原创 mysql报错InnoDB: Error: Write to file ./ib_logfile1 failed

mysql报错InnoDB: Error: Write to file ./ib_logfile1 failedmysql的数据不是直接写入到表中，而是先写到如logfile中；当服务器异常掉电时，一般会发生这种错误解决方法：解决方法：1、关闭mysql数据库2、进入mysql的data目录，删除以下3个文件：ib_logfile0和 ib_logfile1 ib_logfile2[r...

2019-10-30 20:28:49 3856

原创 python3监控硬件设备的维保到期时间

#!/usr/bin/python3# -*- coding: utf-8 -*-'''此脚本用于zabbix监控所有硬件设备的维保到期时间'''import xlrd,datetime,time,osfrom xlrd import xldate_as_tupleimport jsonclass Maintence: def __init__(self): ...

2019-09-26 16:00:22 381

原创 python通过cx_Oracle模块监控oracle业务

1、要想通过python监控Oracle，可以使用cx_Oracle模块，还需配置环境变量，此处不做详解关于cx_Oracle的版本，一定要和linux机器上的oracle版本以及python版本符合；此处我的oracle版本是11g，python是2.7，因此我的cx_Oracle版本是cx_Oracle-5.2.1-11g-py27-1.x86_64.rpm，否则会报libcublas.s...

2019-08-20 20:50:02 940

原创 time模块常用操作

import timedef Get_struct(): # 将unix时间戳转换为指定格式的时间 timestamp = 1561419600 timeArray = time.localtime(timestamp) OtherTimestyle = time.strftime("%Y-%m-%d %H:%M:%S",timeArray) retu...

2019-08-12 21:02:20 271

原创 python数据分析三剑客

数据分析：是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律数据分析三剑客：Numpy、Pandas、MatplotlibNumpy（Numerical Python）是python语言中的一个扩展程序库，支持大量的维度数组与矩阵运算，此外页针对数据运算提供大量的数学函数库...

2019-08-07 14:26:16 3710

原创通过psycopg2模块监控postgresql

最近做了关于postgresql数据库的简单监控，脚本如下：import psycopg2import syssqlItem = { 'alive': "select 1;", # 监控存活 'active_connections': "select count(*) from pg_stat_activity where state = 'a...

2019-08-01 11:38:29 374

原创 shell脚本常见参数

参数处理说明$0脚本名称$n脚本获取的参数$#传递到脚本的参数个数$*以一个单字符串显示所有向脚本传递的参数。如"$*“用「”」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。$$脚本运行的当前进程ID号$!后台运行的最后一个进程的ID号$@与∗相同，但是使用时加引号，并在引号中返回每个参数。如"*...

2019-05-31 15:42:38 4733

原创 zabbix查询历史数据

近期公司准备对zabbix监控告警进行完善，之前的好多阈值设置不合理，现在分配风控部门的同事与我合作，一块做这个事情；风控部门的同事主要对zabbix监控的历史数据进行分析，建模，以设定一个较合理的阈值；我的任务是先从zabbix数据库中取出相关监控项的历史数据，比如一个月的数据；之前不知道怎么取数，研究了两天，重于有点收获了，特此记录下取出历史数据的过程，如有错误，还请指出；use zabbi...

2019-05-16 11:54:14 10179 6

原创 zabbix3数据字典

最近几天因为需要从zabbix数据库中相关的表取出一些监控项的历史数据，进行分析，但不知道每个表里都存着什么样的字段，在网上找到里这份zabbix3的数据字典，特此分享下，供大家参考百度网盘地址：https://pan.baidu.com/s/1ANmcXl7ZsEugmppad6l07g...

2019-05-15 09:57:42 1083 1

原创 python3实现告警语音通知

近期公司对zabbix告警进行统一规划、划分，做一些告警收敛；将一些信息类的告警发送到内部app和邮箱；将一些重于警告的告警发送到手机短信；将一些故障级的告警直接发送语音通知；短信和语音都是买的第三方服务，下面为实现语音通知的python3脚本：cat send_yuyin.py#!/usr/bin/env python3# -*- coding: utf-8 -*-# @Author ...

2019-05-13 10:26:51 3140

原创 hashlib使用时出现: Unicode-objects must be encoded before hashing

# hash前必须把数据转换成bytes类型1、未编码import hashlib # 调用hashlib模块进行md5加密temp = 'hello123' # 需要加密的字符串m = hashlib.md5()m.update(temp)temp1 = m.hexdigest()TypeError: Unicode-objects must be encoded b...

2019-05-13 09:32:27 2414

原创 python函数-参数总结

定义函数的规则：复制代码1.定义：def 关键词开头，空格之后接函数名称和圆括号()。2.参数：圆括号用来接收参数。若传入多个参数，参数之间用逗号分割。　　　　参数可以定义多个，也可以不定义。　　　　参数有很多种，如果涉及到多种参数的定义，应始终遵循位置参数、*args、默认参数、**kwargs顺序定义。　　　　如上述定义过程中某参数类型缺省，其他参数依旧遵循上述排序3.注释：函数...

2019-05-06 20:01:44 215

原创 centos7安装Django1.11.20

有时候生产环境中，不能使用pycharm，需要使用命令行来安装模块；此处使用豆瓣源安装较快命令行安装pip3 install -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com django==1.11.20创建项目django-admin startproject mysite # 执行...

2019-04-29 20:59:43 906

原创 paramiko模块

Python的paramiko模块，基于SSH用于连接远程服务器并执行相关操作; paramiko遵循SSH2协议，支持以加密和认证的方式，进行远程服务器的连接;paramiko支持Linux，Solaris, BSD，MacOS X， Windows等平台通过SSH从一个平台连接到...

2019-04-28 17:33:52 475

原创 python paramiko CryptographyDeprecationWarning

import paramikoclient = paramiko.SSHClient()client.set_missing_host_key_policy(paramiko.AutoAddPolicy()) # 允许连接不在know_hosts文件中的主机。client.connect(serverIp, port=serverPort, username=serverUser)报警告...

2019-04-28 10:48:42 10033

原创 centos7安装python3.6

由于linux自带的环境是python2，所以python3需要自己安装我们使用的是IUS源，IUS（Inline with Upstream Stable）是一个社区项目，它旨在为Linux企业发行版提供可选软件的最新版RPM软件包。 IUS软件替换CentOS基本源中的软件使用的是安全替换的方式：即当CentOS系统中安装了相应的软件后，再使用IUS源安装相应的软件，IUS软件不会直接更新升...

2019-04-28 09:35:33 3138

原创 python3 实现zabbix告警到友空间

环境：公司需要将zabbix告警通知到友空间此处是通过python3脚本来实现的，特此记录一、友空间设置1、需要用管理员权限登录友空间，登录之后可以在左侧选择管理员所属的空间（比如是总公司还是子公司，一般每个空间的管理员账号都不同，空间默认显示所登录管理员的公司）；2、在友空间创建应用，友空间左上角可以设置总空间和子空间；假设A是总公司，B是A的子公司，那么可以在如图中进行切换；3、...

2019-04-26 17:10:14 1102

原创 python json模块

Python是原生态支持json，这点可以从字典和列表结构看出来。我们可以利用json模块处理json数据。简单介绍一下json模版的用法。常用有2个方法，也是最基本的使用方法：1、dumps：把字典转成json字符串2、loads：把json字符串转成字典这两个方法可以直接作为reques等请求的参数进行传入（个人认为），还有load、dump方法。这两个方法和上面两个方法少...

2019-04-25 12:51:42 770

转载 linux-LVM磁盘扩容

刚换的工作，这边玩的是linux-LVM，需要对磁盘进行扩容；话说自从学了linux工作后从来没有遇到过这个东东，今天找了个博客，特此记录。原文章地址：https://www.cnblogs.com/hellojesson/p/4582908.html转自：Jesson...

2019-04-18 20:36:10 560

原创 mysql5.6.43主从+mycat读写分离

一、编译mysql5.6.43两台机器都部署mysql1.47 master1.48 slave1、安装依赖 yum -y install make gcc-c++ cmake bison-devel ncurses-devel perl vim准备用户和组 groupadd mysql useradd mysql -g mysql -M -s /sbin/no...

2019-04-11 17:18:03 373

原创 k8s常见面试题

如何在 Kubernetes 中实现负载均衡？在生产中，你如何实现 Kubernetes 自动化？你如何扩展 Kubernetes 集群？你能解释 Deployment、ReplicaSets、StatefulSets、Pod、CronJob 的不同用途吗？Kubernetes 如何处理持久性？服务和 ingress 的作用是什么？你何时会使用像 ConfigMap 或 secret ...

2019-04-01 18:40:26 13470 3

原创 python3 进程锁

多进程抢占资源当多个进程使用同一份数据资源的时候，就会引发数据安全或顺序混乱问题。 import os import time import random from multiprocessing import Process,Lock def work(n): print('%s: %s is runing' % (n,os.getpid())) time.s...

2019-03-22 16:01:40 11113

原创 Linux常见操作

一、把a目录及其子目录下所有以扩展名.txt结尾的文件中，文件包含oldboy的字符串全部替换为oldgirl1.创建环境mkdir -p a/b/testcd aecho "oldboy" > test1.txtecho "oldboy" > b/test2.txtecho "oldboy" > b/test/test3.txt2.解决方法find a -ty...

2019-03-19 14:15:16 688

原创 linux运维面试题总结

1、11月份每天早上6点到12点之间，每隔两个小时执行脚本xxx.sh0 6-12/2 * 11 * /usr/bin/xxx.sh# 基本格式 : # *　　*　　*　　*　　*　　command # 分　时　日　月　周　命令 # 第1列表示分钟1～59 每分钟用*或者 */1表示 # 第2列表示小时1～23（0表示0点） # 第3列表示日期1～31 # 第4列表示月份...

2019-02-15 15:42:14 3253 1

原创 df和du显示的磁盘空间使用情况不一致的原因及处理

在Linux下查看磁盘空间使用情况，最常使用的就是du和df了。然而两者还是有很大区别的，有时候其输出结果甚至非常悬殊。如何记忆这两个命令du-Disk Usagedf-Disk Freedf 和du 的工作原理1、 du的工作原理du命令会对待统计文件逐个调用fstat这个系统调用，获取文件大小。它的数据是基于文件获取的，所以有很大的灵活性，不一定非要针对一个分区，可以跨越多个分区操...

2018-12-03 15:45:45 1618

原创源码安装 mysql-5.7.24

1）官网下载地址：https://dev.mysql.com/downloads/mysql/ 此处下载的是 mysql-boost-5.7.24.tar.gz2）安装依赖包yum list|grep ncurses-develyum -y install make gcc-c++ cmake bison-devel ncurses-devel3）创建安装目录mkdir /usr...

2018-11-14 11:12:03 2722

转载 Redis Cluster集群的搭建与实践

Redis Cluster集群的搭建与实践转载地址：https://blog.csdn.net/fengshizty/article/details/51368004

2018-11-08 11:46:56 146

转载 kafka

一、kafka初始1、Kafka使用背景在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：（1）我们想分析下用户行为（pageviews），以便我们设计出更好的广告位（2）我想对用户的搜索关键词进行统计，分析出当前的流行趋势（3）有些数据，存储数据库浪费，直接存储硬盘效率又低这些场景都有一个共同点：数据是由上游模块产生，上游模块...

2018-08-03 11:51:56 6176 1

原创 prometheus+grafana监控设置

环境prometheus+grafana 192.168.210.99 agent01(被监控端) 192.168.210.100 agent02(被监控端) 192.168.210.101一、介绍PrometheusPrometheus（普罗米修斯）是一套开源的监控&amp;amp;amp;报警&amp;amp;amp;时间序列数据库的组合，起始是由Sou...

2018-06-22 18:09:27 68572 6

原创 sysbench测试mysql性能（TPS、QPS、IOPS）

掌握数据库的性能情况是非常必要的。本文介绍了MySQL基准测试的基本概念，以及使用sysbench对MySQL进行基准测试的详细方法,本文主要针对金山的单版RDS数据库测试。一、基准测试简介1、什么是基准测试数据库的基准测试是对数据库的性能指标进行定量的、可复现的、可对比的测试。基准测试与压力测试基准测试可以理解为针对系统的一种压力测试。但基准测试不关心业务逻辑，更加简...

2018-04-25 14:36:05 29311 3

原创利用wrk工具压测腾讯CLB

可以做压测的工具有好多，ab、jmeter，此处选用wrk进行压测环境一台CLB实例（在腾讯云平台上创建）四台RS服务器（后端提供web服务的机器，在腾讯云上创建CVM云主机）两台压测客户端（在腾讯云上创建CVM云主机）各个主机的带宽均为100MbpsCLB实例如下：四台RS服务器两台压测客户端一、先配置后端四台服务器四台服务器均...

2018-04-19 18:53:27 1497

原创 netperf测试内网网络性能

测试方案搭建测试环境三台服务器，一台做服务端，两台做客户端配置为16C 32G 系统盘：50G 数据盘：50G 1M带宽三台均作以下操作wget -c https://codeload.github.com/HewlettPackard/netperf/tar.gz/netperf-2.5.0tar xf netperf-2.5.0.tar.gz && cd...

2018-04-17 20:32:14 2552 2

原创 fio工具测试硬盘性能

云硬盘的性能如何衡量？一般使用以下几个指标对存储设备的性能进行描述：IOPS：每秒读/写次数，单位为次（计数）。存储设备的底层驱动类型决定了不同的 IOPS。吞吐量：每秒的读写数据量，单位为MB/s。时延：IO操作的发送时间到接收确认所经过的时间，单位为秒。FIO是测试磁盘性能的一个非常好的工具，用来对硬件进行压力测试和验证。建议使用libaio的I/O引擎进行测试，请自行安装FIO...

2018-04-16 19:21:29 22233 1

原创 unixbench测试CPU性能工具／mbw测试内存

一、unixbench工具UnixBench是一个类unix系（Unix，BSD，Linux）统下的性能测试工具，一个开源工具，被广泛用与测试linux系统主机的性能。Unixbench的主要测试项目有：系统调用、读写、进程、图形化测试、2D、 3D、管道、运算、C库等系统基准性能提供测试数据。unixbench一个基于系统的基准测试工具，不单纯是CPU 内存或者磁盘测试工具。测试结果...

2018-04-16 13:30:57 23439 2

转载 echo 3 > /proc/sys/vm/drop_cache

手工释放linux内存——/proc/sys/vm/drop_cachelinux的内存查看：[root@localhost 0.1.0]# free -m total used free shared buffers cachedMem: 4032 694 3...

2018-04-03 09:47:10 30082 1

空空如也

空空如也