自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(37)
  • 收藏
  • 关注

转载 openstack kilo部署-基础环境

公司也想搞个私有云玩玩,于是展开了一系列的调研,部署测试,openstack 有几个版本真是坑爹!!,如果喜欢被虐有兄弟,你就试试 openstack 的 juno , icehouse等版本,用不了多久,你就疯了,哈哈,我这里就说说,相对稳定的 openstack kilo版本做为运维,部署服务之前肯定首先要考虑的基础环境的部署,当然openstack,也是同理 ,这篇就聊聊o...

2016-03-14 22:33:00 207

转载 python学习之成员信息增删改查

主要实现了成员信息的增加,修改,查询,和删除功能,写着玩玩,在写的过程中,遇到的问题,旧新成员信息数据的合并,手机号和邮箱的验证,#!/usr/bin/env python# coding=utf8#author:shantuwqk@163.comimport os, sys, time,jsonimport remember_dict = \ {}member_name_list...

2015-07-20 10:10:00 160

转载 网站监控系统安装部署(zabbix,nagios)

zabbix分布式监控系统安装部署 官方网站链接 https://www.zabbix.com/documentation/2.0/manual/installation安装环境说明参考地址 http://mayulin.blog.51cto.com/1628315/514371 虚拟机两台 zabbix_server 192.168.50.141...

2015-06-24 23:30:00 280

转载 监控redis数据库应用状态:python,tornado实现

公司里最近redis服务器压力越来越大,其大概情况,只能从操作系统层面看,并不详尽,故同事在网上找了一个叫做 redis-live的开源项目,我配合部署了一下,还真有点意思,并解决了其中部分小debug,原文来之这里目前来说,越来越多的使用多了NOSQL的业务,但是这方面的监控缺不多。今天给大家介绍几个专业监控redis服务的工具,便于大家进行redis性能分析。下面...

2015-06-24 23:28:00 181

转载 python 远程执行命令、发布文件

 最近有个需求,想获取部分服务器上运行了那些应用服务,一台台去看,太费劲了,参考牛人写了此脚本,后期再加上一个前端页面做一些简单的运维维护的工作,凑合着先用着,待完善,注:此脚本依懒于安装fabric ,安装过程参考: http://5973819.blog.51cto.com/5963819/1532334 1 #!/usr/bin/env python 2 #co...

2015-06-24 23:27:00 122

转载 python 分布式进程体验

抽了点时间体验了一把python 分布式进程,有点像分布式计算的意思,不过我现在还没有这个需求,先把简单体验的脚本发出来,供路过的各位高手指教注:需要先下载multiprocessing 的python包支持才行。管理端:cat task_manager.py  #!/usr/bin/env python#coding:utf8import rand...

2015-06-24 23:26:00 84

转载 python 常用对linux系统文件及目录的操作

目录1、取得当前目录——os.getcwd()>>> import os>>> s=os.getcwd()#获得当前运行脚本所在目录>>> s'C:\\Python27'比如运行test.py,那么输入该命令就会返回脚本所在的文件夹位置。例如将test.py放入A文件夹。并且希望不管将A文件夹放...

2015-06-24 23:25:00 234

转载 python 日期时间处理

# 获取日期:import datetime #调用事件模块today =datetime.date.today() #获取今天日期deltadays =datetime.timedelta(days=1) #确定日期差额,如前天 days=2yesterday =today -deltadays # 获取差额日期,昨天tomorrow =today +dletada...

2015-06-24 23:23:00 81

转载 python 压缩每周生成的数据文件

为了便于整理部分业务数据,以及存储管理, 写了此脚本.后期如果有需求,再改一下. 1 #!/usr/bin/env python 2 #coding:utf8 3 4 import os,sys,time,commands,shutil,glob 5 import datetime 6 7 8 class FileSuo: 9 1...

2015-06-24 23:22:00 109

转载 网络编程之python zeromq学习系列之一

简介:  zeromq中间件,他是一个轻量级的消息中间件,传说是世界上最快的消息中间件,为什么这么说呢? 因为一般的消息中间件都需要启动消息服务器,但是zeromq这厮尽然没有消息服务器,他压根没有消息中间件的架子,但是这并不能掩盖他的强大。 通过和activemq,rabbitmq对比,显然功能上没有前两者这么强大,他不支持消息的持久化,但是...

2015-06-24 23:20:00 157

转载 python常用函数库及模块巧妙用法汇总

在用python编写脚本或写程序过程中总要遇到一些对大文件或数据进行排序,计算,循环跌代等.我想下面这些函数库一定能用得到,总结如下:便于以后备查列表去重(传说是列表去重最高效的方法):al = ['/data/consul/script/check_port.py', '/data/consul/script/check_port.py', '/data/consul/s...

2015-06-24 23:18:00 111

转载 分析nginx日志脚本之python

为了对每个月的切割过的30个日志文件统计出访问最多的ip地址进行排序,整理了下面的脚本,主要思路是处理每一个日志文件的ip排序,最后进行字典合并,计算出月ip排序。#!/usr/bin/env pythonimport osimport sysimport commandsimport reipsort = {}def IpSort(logfi...

2015-06-24 23:16:00 84

转载 python Multiprocessing 多进程应用

在运维工作中,经常要处理大量数据,或者要跑一些时间比较长的任务,可能都需要用到多进程,不管是管理端下发任务,还是客户端执行任务,如果服务器配置还可以,跑多进程还是挺能解决问题的Multiprocessing Pool如果任务需要启动大量子进程,用一下multiprocessing Pool 是比较好的,类似如下用法#!/usr/bin/env python# codi...

2015-06-24 23:14:00 97

转载 kle 日志收集系统维护之清理索引及索引优化脚本

logstash每天往es建好索引,按天生成,就目前的需求,需要清理不需要的数据,以保证最新日志的速度展示,哈哈,瞎搞了这个脚本,路过的大神批评。#!/usr/bin/env python# coding:utf8#author: shantuwqk@163.comimport sys,datetimeimport os,time,commands...

2015-06-24 23:13:00 180

转载 用django框架做自己的blog

说明:我的系统环境是ubuntu 14.10版本的,整理这篇博客,主要是自己记性太不好了,老忘东西,教训一下自己。哈哈参考文章createing blog1,part-1-creating-blog2,part-2-creating-blog3,part-3-creating-blogdjango framework applicationdjango fra...

2015-06-24 23:10:00 106

转载 GlusterFS + lagstash + elasticsearch + kibana 3 + redis日志收集存储系统部署 01

因公司数据安全和分析的需要,故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用:安装,配置过程,使用情况等续一,glusterfs分布式文件系统部署:说明:公司想做网站业务日志及系统日志统一收集和管理,经过对mfs, fastdfs 等分布式文件系统的调研,...

2015-06-24 23:07:00 145

转载 Python输出字符串或文件颜色显示

书写格式,和相关说明如下:格式:\033[显示方式;前景色;背景色m 说明:前景色 背景色 颜色---------------------------------------30 40 黑色31 41 红色...

2015-06-24 23:03:00 217

转载 系统维护常用脚本

在linux系统维护过程中,经常需要解决各种各样的需求,最简单的方式还是用linux系统本身的shell,最简单有效这个网站很好推荐给大家点这里1.释放内存:cat monitor_mem.sh#!/bin/bashused=`free -m | awk 'NR==2' | awk '{print $3}'`free=`free -m | awk 'NR=...

2015-06-24 23:00:00 117

转载 免密码登录服务器python脚本

在自动化运维平台没有做完之前,常需要登录服务器做很多维护操作,每次找好长好长的密码,那么多服务器,你会疯掉的,所以瞎搞了以下脚本.先解一下燃眉之急,哈哈cat login_root.exp#!/usr/bin/expect -cset IP [lindex $argv 0]set PWD [lindex $argv 1]set timeout 2spawn...

2015-06-24 22:56:00 177

转载 python 常用模块之ConfigParser

在程序中使用配置文件来灵活的配置一些参数是一件很常见的事情,配置文件的解析并不复杂,在Python里更是如此,在官方发布的库中就包含有做这件事情的库,那就是ConfigParser, Python ConfigParser模块解析的配置文件的格式比较象ini的配置文件格式下面用实例说明如下:配置文件db.conf [db]db_host=10.1.10.15db_...

2015-06-24 22:53:00 81

转载 logstash grok 分割匹配日志

使用logstash的时候,为了更细致的切割日志,会写一些正则表达式。 使用方法 input { file { type => "billin" path => "/data/logs/product/result.log" } ...

2015-06-24 22:51:00 1104

转载 部署维护docker环境

其实前面已经用salt,安装部署了docker应用环境了,过程中还是遇到了不少问题,所以这里再相对仔细的记录一下,docker手机安装过程应注意的事情 安装过程部分参考了刘天斯大师文档部署1,安装环境说明系统环境:centos6.6服务应用了: haproxy confd etcd docker主机名 ip     服务角...

2015-06-24 22:50:00 158

转载 mongodb维护常用命令

一,用户操作:1. #进入数据库adminuse admin2. #增加或修改用户密码db.addUser('name','pwd')3. #查看用户列表db.system.users.find()4. #用户认证db.auth('name','pwd')5. #删除用户db.removeUser('name')6. #查看所有用户show users7. #查看所有数据库show db...

2015-06-24 22:48:00 209

转载 kerberos+ladp+hadoop-ha 安全认证部署配置

随着hadoop集群里的数据量越来越大,各业务数据都集中了里面,自然要为各业务都要提供数据支持,又希望各业务数据是相对独立安全的,这最时候就需要做安全认证了hadoop ha 测试集群部署规划hadoop ha 各服务器角色如下: 192.168.36.135 hadoopnn135.hadoop.com192.168.36.137 hadoopsn137.ha...

2015-06-19 22:36:00 238

转载 hadoop-ha QJM架构应用故障总结

部署hadoop-ha QJM架构过程我就不说了,参考 我的博客:hadoop-ha QJM架构部署故障一: namenode 报错日志如下: WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Remote journal 10.168.35.127:8485 failed to wri...

2015-06-19 22:34:00 434

转载 hadoop-ha QJM 架构部署

公司之前老的hadoop集群namenode有单点风险,最近学习此链接http://www.binospace.com/index.php /hdfs-ha-quorum-journal-manager/ 牛人上的hadoop高可用部署,受益非浅,自己搞了一个和自己集群比较匹配的部署逻辑图,供要用hadoop的兄弟们使用,部署过程,有时间整理完了,给兄弟们奉上,供大...

2015-06-19 22:30:00 327

转载 批量安装操作系统之cobbler

Cobbler 部署文档 服务端配置 操作系统:Centos6.4关闭防火墙及 selinux 安装cobbler软件 添加yum源rpm -Uvh https://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpmwget http://mirror...

2015-06-19 22:09:00 201

转载 python开发中常用的框架

以下是15个最受欢迎的Python开源框架。这些框架包括事件I/O,OLAP,Web开发,高性能网络通信,测试,爬虫等。Django: Python Web应用开发框架Django 应该是最出名的Python框架,GAE甚至Erlang都有框架受它影响。Django是走大而全的方向,它最出名的是其全自动化的管理后台:只需要使用起ORM,做简单的对象定义,它就能自动生...

2015-06-19 22:04:00 122

转载 网络服务器架构模型与比较

事件驱动为广大的程序员所熟悉,其最为人津津乐道的是在图形化界面编程中的应用;事实上,在网络编程中事件驱动也被广泛使用,并大规模部署在高连接数高吞吐量的服务器程序中,如 http 服务器程序、ftp 服务器程序等。相比于传统的网络编程方式,事件驱动能够极大的降低资源占用,增大服务接待能力,并提高网络传输效率。关于本文提及的服务器模型,搜索网络可以查阅到很多的实现代码,所以,本文将不拘泥于源...

2015-06-19 22:03:00 82

转载 用fabric部署维护kle日志收集系统

最近搞了一个logstash kafka elasticsearch kibana 整合部署的日志收集系统。部署参考lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02 上线过程中有一些环节,觉得还是值的大家注意的比如:1,应用运维和研发人员要讨论一下日志格式的定义,2,在logstash取日志和消费端logstash...

2015-06-19 21:59:00 191

转载 lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02

因公司数据安全和分析的需要,故调研了一下  GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用:安装,配置过程,使用情况等续一,glusterfs分布式文件系统部署: 说明: 公司想做网站业务日志及系统日志统一收集和管理,经过对mfs, fastdfs 等分布式文件系统的调研,最后选择了 glu...

2015-06-19 21:57:00 118

转载 Nginx HA 及https配置部署

Nginx HA 整体方案架构为: (内网192.168.199.5) +-----------VIP----------+ | | | ...

2015-06-19 21:53:00 192

转载 Nginx 配置详解

常用nginx做web,代理,缓存等功能,一些常用的配置,老记不住,记在这儿,好查用 感谢博主,整理了这么好的东西,愧转为已用。#定义Nginx运行的用户和用户组user www www;#nginx进程数,建议设置为等于CPU总核心数。worker_processes 8;#全局错误日志定义类型,[ debug | info | notice | ...

2015-06-19 21:50:00 74

转载 redis cluster安装部署(测试环境)

redis 应用于web前端,做缓存和数据存取的速度是挺可观的,最近看了一些资料,手痒了,就弄了一个测试环境,两台方案,试用一下。##Redis 集群部署##一,方案调研:参考博客:http://jolestar.com/redis-ha/http://www.luocs.com/archives/tag/redishttps://githu...

2015-06-19 21:44:00 121

转载 redis集群部署之codis 维护脚本

搞了几天redis cluster codis 的部署安装,测试,架构优化,配合研发应用整合,这里记一些心得!背景需求:之前多个业务都在应用到redis库,各业务独立占用主从两台服务器,硬件资源利用不合理,主从架构冗余度不高,主redis故障的话,从redis恢复需要时间,降低业务的可用性, 所以调研测试部署了基于codis的redis集群。 官方地址部署文档 参考这里...

2015-06-18 18:21:00 139

转载 redis 数据库维护之 key 大小获取

获得 redis key 大小redis 用过一段时间后,发现一个KEY每天需更新值,但总是更新不全,故此为了定位问题,整理此脚本,辅助监控一下写了两个脚本注意:需要提前从 https://github.com/wangganyu188/redis-py.git ,下载redis支持python的api包并安装git clone https://github...

2015-06-18 18:16:00 322

转载 用HAProxy和KeepAlived构建高可用的反向代理

用HAProxy和KeepAlived构建高可用的反向代理用HAProxy和KeepAlived构建高可用的反向代理 前言对于访问量较大的网站来说,随着流量的增加单台服务器已经无法处理所有的请求,这时候需要多台服务器对大量的请求进行分流处理,即负载均衡。而如果实 现负载均衡,必须在网站的入口部署服务器(不只是一台)对这些请求进行分发,这台服务器即反向代理。由于反向代理服务器...

2015-06-18 16:51:00 153

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除