- 博客(37)
- 收藏
- 关注
RSS订阅转载 openstack kilo部署-基础环境
公司也想搞个私有云玩玩，于是展开了一系列的调研，部署测试，openstack 有几个版本真是坑爹!!，如果喜欢被虐有兄弟，你就试试 openstack 的 juno , icehouse等版本，用不了多久，你就疯了，哈哈，我这里就说说，相对稳定的 openstack kilo版本做为运维，部署服务之前肯定首先要考虑的基础环境的部署，当然openstack，也是同理 ，这篇就聊聊o...
2016-03-14 22:33:00
210
转载 python学习之成员信息增删改查
主要实现了成员信息的增加，修改，查询，和删除功能，写着玩玩，在写的过程中，遇到的问题，旧新成员信息数据的合并，手机号和邮箱的验证，#!/usr/bin/env python# coding=utf8#author:shantuwqk@163.comimport os, sys, time,jsonimport remember_dict = \ {}member_name_list...
2015-07-20 10:10:00
164
转载 网站监控系统安装部署(zabbix,nagios)
zabbix分布式监控系统安装部署 官方网站链接 https://www.zabbix.com/documentation/2.0/manual/installation安装环境说明参考地址 http://mayulin.blog.51cto.com/1628315/514371 虚拟机两台 zabbix_server 192.168.50.141...
2015-06-24 23:30:00
285
转载 监控redis数据库应用状态:python,tornado实现
公司里最近redis服务器压力越来越大,其大概情况,只能从操作系统层面看,并不详尽,故同事在网上找了一个叫做 redis-live的开源项目,我配合部署了一下,还真有点意思,并解决了其中部分小debug,原文来之这里目前来说，越来越多的使用多了NOSQL的业务，但是这方面的监控缺不多。今天给大家介绍几个专业监控redis服务的工具，便于大家进行redis性能分析。下面...
2015-06-24 23:28:00
185
转载 python 远程执行命令、发布文件
最近有个需求，想获取部分服务器上运行了那些应用服务，一台台去看，太费劲了，参考牛人写了此脚本，后期再加上一个前端页面做一些简单的运维维护的工作，凑合着先用着，待完善，注：此脚本依懒于安装fabric ，安装过程参考： http://5973819.blog.51cto.com/5963819/1532334 1 #!/usr/bin/env python 2 #co...
2015-06-24 23:27:00
123
转载 python 分布式进程体验
抽了点时间体验了一把python 分布式进程，有点像分布式计算的意思，不过我现在还没有这个需求，先把简单体验的脚本发出来，供路过的各位高手指教注：需要先下载multiprocessing 的python包支持才行。管理端：cat task_manager.py #!/usr/bin/env python#coding:utf8import rand...
2015-06-24 23:26:00
85
转载 python 常用对linux系统文件及目录的操作
目录1、取得当前目录——os.getcwd()>>> import os>>> s=os.getcwd()#获得当前运行脚本所在目录>>> s'C:\\Python27'比如运行test.py，那么输入该命令就会返回脚本所在的文件夹位置。例如将test.py放入A文件夹。并且希望不管将A文件夹放...
2015-06-24 23:25:00
236
转载 python 日期时间处理
# 获取日期：import datetime #调用事件模块today =datetime.date.today() #获取今天日期deltadays =datetime.timedelta(days=1) #确定日期差额，如前天 days=2yesterday =today -deltadays # 获取差额日期，昨天tomorrow =today +dletada...
2015-06-24 23:23:00
82
转载 python 压缩每周生成的数据文件
为了便于整理部分业务数据,以及存储管理, 写了此脚本.后期如果有需求,再改一下. 1 #!/usr/bin/env python 2 #coding:utf8 3 4 import os,sys,time,commands,shutil,glob 5 import datetime 6 7 8 class FileSuo: 9 1...
2015-06-24 23:22:00
109
转载 网络编程之python zeromq学习系列之一
简介: zeromq中间件，他是一个轻量级的消息中间件，传说是世界上最快的消息中间件，为什么这么说呢？ 因为一般的消息中间件都需要启动消息服务器，但是zeromq这厮尽然没有消息服务器，他压根没有消息中间件的架子，但是这并不能掩盖他的强大。 通过和activemq，rabbitmq对比，显然功能上没有前两者这么强大，他不支持消息的持久化，但是...
2015-06-24 23:20:00
158
转载 python常用函数库及模块巧妙用法汇总
在用python编写脚本或写程序过程中总要遇到一些对大文件或数据进行排序,计算,循环跌代等.我想下面这些函数库一定能用得到,总结如下:便于以后备查列表去重(传说是列表去重最高效的方法):al = ['/data/consul/script/check_port.py', '/data/consul/script/check_port.py', '/data/consul/s...
2015-06-24 23:18:00
111
转载 分析nginx日志脚本之python
为了对每个月的切割过的３０个日志文件统计出访问最多的ip地址进行排序，整理了下面的脚本，主要思路是处理每一个日志文件的ip排序，最后进行字典合并，计算出月ip排序。#!/usr/bin/env pythonimport osimport sysimport commandsimport reipsort = {}def IpSort(logfi...
2015-06-24 23:16:00
84
转载 python Multiprocessing 多进程应用
在运维工作中，经常要处理大量数据，或者要跑一些时间比较长的任务，可能都需要用到多进程，不管是管理端下发任务，还是客户端执行任务，如果服务器配置还可以，跑多进程还是挺能解决问题的Multiprocessing Pool如果任务需要启动大量子进程，用一下multiprocessing Pool 是比较好的，类似如下用法#!/usr/bin/env python# codi...
2015-06-24 23:14:00
98
转载 kle 日志收集系统维护之清理索引及索引优化脚本
logstash每天往es建好索引，按天生成，就目前的需求，需要清理不需要的数据，以保证最新日志的速度展示，哈哈，瞎搞了这个脚本，路过的大神批评。#!/usr/bin/env python# coding:utf8#author: shantuwqk@163.comimport sys,datetimeimport os,time,commands...
2015-06-24 23:13:00
182
转载 用django框架做自己的blog
说明：我的系统环境是ubuntu 14.10版本的，整理这篇博客，主要是自己记性太不好了，老忘东西，教训一下自己。哈哈参考文章createing blog1,part-1-creating-blog2,part-2-creating-blog3,part-3-creating-blogdjango framework applicationdjango fra...
2015-06-24 23:10:00
108
转载 GlusterFS + lagstash + elasticsearch + kibana 3 + redis日志收集存储系统部署 01
因公司数据安全和分析的需要，故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用：安装，配置过程，使用情况等续一，glusterfs分布式文件系统部署：说明：公司想做网站业务日志及系统日志统一收集和管理，经过对mfs, fastdfs 等分布式文件系统的调研，...
2015-06-24 23:07:00
146
转载 Python输出字符串或文件颜色显示
书写格式，和相关说明如下:格式：\033[显示方式;前景色;背景色m 说明：前景色 背景色 颜色---------------------------------------30 40 黑色31 41 红色...
2015-06-24 23:03:00
219
转载 系统维护常用脚本
在linux系统维护过程中，经常需要解决各种各样的需求，最简单的方式还是用linux系统本身的shell，最简单有效这个网站很好推荐给大家点这里１.释放内存:cat monitor_mem.sh#!/bin/bashused=`free -m | awk 'NR==2' | awk '{print $3}'`free=`free -m | awk 'NR=...
2015-06-24 23:00:00
118
转载 免密码登录服务器python脚本
在自动化运维平台没有做完之前,常需要登录服务器做很多维护操作,每次找好长好长的密码,那么多服务器,你会疯掉的,所以瞎搞了以下脚本.先解一下燃眉之急,哈哈cat login_root.exp#!/usr/bin/expect -cset IP [lindex $argv 0]set PWD [lindex $argv 1]set timeout 2spawn...
2015-06-24 22:56:00
178
转载 python 常用模块之ConfigParser
在程序中使用配置文件来灵活的配置一些参数是一件很常见的事情，配置文件的解析并不复杂，在Python里更是如此，在官方发布的库中就包含有做这件事情的库，那就是ConfigParser， Python ConfigParser模块解析的配置文件的格式比较象ini的配置文件格式下面用实例说明如下:配置文件db.conf [db]db_host=10.1.10.15db_...
2015-06-24 22:53:00
83
转载 logstash grok 分割匹配日志
使用logstash的时候，为了更细致的切割日志，会写一些正则表达式。 使用方法 input { file { type => "billin" path => "/data/logs/product/result.log" } ...
2015-06-24 22:51:00
1113
转载 部署维护docker环境
其实前面已经用salt，安装部署了docker应用环境了，过程中还是遇到了不少问题，所以这里再相对仔细的记录一下，docker手机安装过程应注意的事情 安装过程部分参考了刘天斯大师文档部署1,安装环境说明系统环境：centos6.6服务应用了: haproxy confd etcd docker主机名 ip 服务角...
2015-06-24 22:50:00
163
转载 mongodb维护常用命令
一,用户操作:1. #进入数据库adminuse admin2. #增加或修改用户密码db.addUser('name','pwd')3. #查看用户列表db.system.users.find()4. #用户认证db.auth('name','pwd')5. #删除用户db.removeUser('name')6. #查看所有用户show users7. #查看所有数据库show db...
2015-06-24 22:48:00
210
转载 kerberos+ladp+hadoop-ha 安全认证部署配置
随着hadoop集群里的数据量越来越大,各业务数据都集中了里面,自然要为各业务都要提供数据支持,又希望各业务数据是相对独立安全的,这最时候就需要做安全认证了hadoop ha 测试集群部署规划hadoop ha 各服务器角色如下: 192.168.36.135 hadoopnn135.hadoop.com192.168.36.137 hadoopsn137.ha...
2015-06-19 22:36:00
238
转载 hadoop-ha QJM架构应用故障总结
部署hadoop-ha QJM架构过程我就不说了,参考 我的博客:hadoop-ha QJM架构部署故障一: namenode 报错日志如下: WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Remote journal 10.168.35.127:8485 failed to wri...
2015-06-19 22:34:00
436
转载 hadoop-ha QJM 架构部署
公司之前老的hadoop集群namenode有单点风险，最近学习此链接http://www.binospace.com/index.php /hdfs-ha-quorum-journal-manager/ 牛人上的hadoop高可用部署，受益非浅，自己搞了一个和自己集群比较匹配的部署逻辑图，供要用hadoop的兄弟们使用，部署过程，有时间整理完了，给兄弟们奉上，供大...
2015-06-19 22:30:00
332
转载 批量安装操作系统之cobbler
Cobbler 部署文档 服务端配置 操作系统：Centos6.4关闭防火墙及 selinux 安装cobbler软件 添加yum源rpm -Uvh https://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpmwget http://mirror...
2015-06-19 22:09:00
204
转载 python开发中常用的框架
以下是15个最受欢迎的Python开源框架。这些框架包括事件I/O，OLAP，Web开发，高性能网络通信，测试，爬虫等。Django: Python Web应用开发框架Django 应该是最出名的Python框架，GAE甚至Erlang都有框架受它影响。Django是走大而全的方向，它最出名的是其全自动化的管理后台：只需要使用起ORM，做简单的对象定义，它就能自动生...
2015-06-19 22:04:00
122
转载 网络服务器架构模型与比较
事件驱动为广大的程序员所熟悉，其最为人津津乐道的是在图形化界面编程中的应用；事实上，在网络编程中事件驱动也被广泛使用，并大规模部署在高连接数高吞吐量的服务器程序中，如 http 服务器程序、ftp 服务器程序等。相比于传统的网络编程方式，事件驱动能够极大的降低资源占用，增大服务接待能力，并提高网络传输效率。关于本文提及的服务器模型，搜索网络可以查阅到很多的实现代码，所以，本文将不拘泥于源...
2015-06-19 22:03:00
82
转载 用fabric部署维护kle日志收集系统
最近搞了一个logstash kafka elasticsearch kibana 整合部署的日志收集系统。部署参考lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02 上线过程中有一些环节，觉得还是值的大家注意的比如：1，应用运维和研发人员要讨论一下日志格式的定义，2，在logstash取日志和消费端logstash...
2015-06-19 21:59:00
194
转载 lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02
因公司数据安全和分析的需要，故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用：安装，配置过程，使用情况等续一，glusterfs分布式文件系统部署： 说明： 公司想做网站业务日志及系统日志统一收集和管理，经过对mfs, fastdfs 等分布式文件系统的调研，最后选择了 glu...
2015-06-19 21:57:00
119
转载 Nginx HA 及https配置部署
Nginx HA 整体方案架构为: (内网192.168.199.5) +-----------VIP----------+ | | | ...
2015-06-19 21:53:00
208
转载 Nginx 配置详解
常用nginx做web,代理，缓存等功能，一些常用的配置，老记不住，记在这儿，好查用 感谢博主，整理了这么好的东西，愧转为已用。#定义Nginx运行的用户和用户组user www www;#nginx进程数，建议设置为等于CPU总核心数。worker_processes 8;#全局错误日志定义类型，[ debug | info | notice | ...
2015-06-19 21:50:00
74
转载 redis cluster安装部署(测试环境)
redis 应用于web前端，做缓存和数据存取的速度是挺可观的，最近看了一些资料，手痒了，就弄了一个测试环境，两台方案，试用一下。##Redis 集群部署##一，方案调研:参考博客:http://jolestar.com/redis-ha/http://www.luocs.com/archives/tag/redishttps://githu...
2015-06-19 21:44:00
121
转载 redis集群部署之codis 维护脚本
搞了几天redis cluster codis 的部署安装，测试，架构优化，配合研发应用整合，这里记一些心得！背景需求：之前多个业务都在应用到redis库，各业务独立占用主从两台服务器，硬件资源利用不合理，主从架构冗余度不高，主redis故障的话，从redis恢复需要时间，降低业务的可用性， 所以调研测试部署了基于codis的redis集群。 官方地址部署文档 参考这里...
2015-06-18 18:21:00
139
转载 redis 数据库维护之 key 大小获取
获得 redis key 大小redis 用过一段时间后，发现一个KEY每天需更新值，但总是更新不全，故此为了定位问题，整理此脚本，辅助监控一下写了两个脚本注意：需要提前从 https://github.com/wangganyu188/redis-py.git ，下载redis支持python的api包并安装git clone https://github...
2015-06-18 18:16:00
325
转载 用HAProxy和KeepAlived构建高可用的反向代理
用HAProxy和KeepAlived构建高可用的反向代理用HAProxy和KeepAlived构建高可用的反向代理 前言对于访问量较大的网站来说，随着流量的增加单台服务器已经无法处理所有的请求，这时候需要多台服务器对大量的请求进行分流处理，即负载均衡。而如果实 现负载均衡，必须在网站的入口部署服务器（不只是一台）对这些请求进行分发，这台服务器即反向代理。由于反向代理服务器...
2015-06-18 16:51:00
155
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人