自动运维
orangleliu
快乐编程
展开
-
[Fabric]Fabric With Nohup 执行方式
Fabric是Python的远程SSH命令行工具,常用来实现服务远程管理及持续化部署。最近需要在集群中执行离线任务,在官方文档中有例子:run("nohup yes >& /dev/null < /dev/null &")原创 2014-06-12 10:32:43 · 4357 阅读 · 0 评论 -
[Zabbix3.0 ]添加Nginx监控
通过Nginx的http_stub_status_module模块提供的状态信息来监控,所以在Agent端需要配置Nginx状态获取的脚本,和添加key信息等,然后在Server端配置Nginx的监控模板等。请根据自己情况调整,这里只做简单的参照。主要是使用Github这个项目的代码 zabbix-templatesAgent端系统是Centos6.x, Zabbix-agent是3.0版本, N原创 2016-04-10 17:40:37 · 9941 阅读 · 0 评论 -
[Zabbix3.0] 添加MySQL监控
zabbix3.0 server已经自带MySQL的模板了,只要修改agent端,然在server给主机添加模板就好了。Agent端操作/etc/zabbix/zabbix_agentd.d/userparameter_mysql.conf 已经存在(自动安装的),还需要的是配置MySQL的用户密码信息在目录下 创建 .my.cnf文件[client]user=zabbixpassword=y原创 2016-04-08 19:51:25 · 5149 阅读 · 0 评论 -
[命令行] curl查询公网出口IP
不管是在家里还是办公室,或者是公司的主机,很多时候都是在内网中,也就是说很多都是通过 NAT上网的,有时候需要查询下出口的公网IP,如果有浏览器,可以用百度, google搜 ip 这个关键词得到公网IP,那要是在命令行下呢? 下面是运维开发群的大神们分享的几个接口,整理了下分享给大家。liuzhizhi@lzz-rmbp|logs # curl ipinfo.io{ "ip": "114.原创 2016-07-22 14:27:02 · 114720 阅读 · 7 评论 -
[cacti]nginx+php+cacti+mysql+php-fpm 安装小记
网上教程很多,但是nginx不太多,下面安装时候主要参考的篇文章: http://54im.com/linux/linux-cacti-cn-install.html http://www.tecmint.com/install-cacti-network-monitoring-on-rhel-centos-6-3-5-8-and-fedora-17-12/ 主要 http://原创 2015-05-24 20:02:18 · 4659 阅读 · 0 评论 -
[django]项目打包构建
django项目的结构大体上都是类似,打包主要的功能就是把一些不需要部署的文件剔除,把需要部署的文件直接压缩打包。 这里还想集成一个配置文件模板生成配置文件的过程,或者写一个配置文件生成的工具,不用每次都复制修改,容易出错。 下面是orangleliu君的一个小实验,仅供参考和相互交流。这是项目的文件结构。官方文档的教程setuptools模块setuptools应该是对标准库中的setup原创 2015-06-23 11:50:01 · 13232 阅读 · 1 评论 -
[virtualenv]生产环境中使用virtualenv
virtualenv 对于python开发和部署都是好工具,可以隔离多个python版本和第三方库的版本,这里作者总结了几个常用python服务怎么样结合virtual部署 原文链接Python 中我最喜欢的东西之一就是可以使用 virtualenv 去创建隔离的环境。非常简单的就可以在不同的项目中部署不同的python类库。有一个比较棘手的问题就是在生产环境中使用virtualenv 部署几个不翻译 2015-04-15 22:35:56 · 4834 阅读 · 0 评论 -
[uwsgi]使用建议(类似最佳实践)
看了下uwsgi官方的一个使用建议,之前都是直接参考了下django文档中那个比较简单的配置或者就写了个能运行的配置,么有注意很多细节问题,这里学习下,把需要的配置添加到项目配置中。1 http and http-socket 是2个不同的配置项,http直接使用http协议,可以直接作为web服务器来使用,socekt是用来给web服务器来upstream的2 T原创 2014-12-06 23:08:51 · 6105 阅读 · 0 评论 -
SSH和Netcat完成临时内网穿透
场景是这样的,前几天问运维同学要了一个测试机,只有内网IP,大部分情况够用,但是呢,偶尔也需要看看web页面什么的,怎么解决呢,正好我有个VPS,所以就想用SSH做个反向隧道,可以在家里也能访问到测试机的web服务,大部分都是临时使用,用完就关闭就好,安全风险也不是很大。连接互联网的电脑 ---> 公网IP(vps) <--ssh隧道--> 内网测试机解决方案...原创 2018-03-20 00:00:54 · 2859 阅读 · 0 评论 -
内网IP端口扫描统计+服务识别简单思路
前提:内网是10网段的,几乎所有机器都开了80和22端口,所以以此为依据认为扫描到的都是在线的IP。 目标是得到在线的IP启动了哪些端口,尽量猜测端口对应的服务。Centos7 (macos用brew直接安装就行)Nmap 6.47Masscan 1.0.4Python 2.7.xcentos7 sudo yum install nmap## masscan 需要...原创 2018-05-31 10:03:22 · 8193 阅读 · 0 评论 -
kubeadm安装k8s测试环境
目标是搭建一个可测试的k8s环境,使用的工具 kubeadm, 最终一个master节点(非高可用),2个node节点。环境以及版本Centos7.3kubeadm 1.11.1kubelet 1.11.1kubectl 1.11.1docker-ce-18.06 说明 kubeadm默认的etcd是本地的,所以这里使用的是本地 etcd,而不是kubeadm中的...原创 2018-07-30 14:34:14 · 3467 阅读 · 1 评论 -
【shell脚本】nginx每天自动切割日志脚本
nginx每天日志量比较大的时候,最好每天自动切割,存储,这样可以方面以后的查询和分析#!/bin/sh####################filename: nginx_log_rotate.sh#vsersion: 0.1v#1 0 * * * /bin/sh /home/project/monitor/nginx_log_rotate.sh >/dev/null 2>&1###原创 2015-06-30 19:08:46 · 3568 阅读 · 0 评论 -
【shell脚本】mysql每日备份shell脚本
每天固定时间用mysqldump 备份mysql数据。#!/bin/bash#每天早上4点, mysql备份数据 orangleliu#chmod 700 backup.sh#crontab -e#0 4 * * * /home/erya/run/moniter/mysql_backup.shuser="radius"password=""host="localhost"db_nam原创 2015-06-26 18:08:32 · 2192 阅读 · 0 评论 -
[Python] 发送email的几种方式
python发送email还是比较简单的,可以通过登录邮件服务来发送,linux下也可以使用调用sendmail命令来发送,还可以使用本地或者是远程的smtp服务来发送邮件,不管是单个,群发,还是抄送都比较容易实现。先把几个最简单的发送邮件方式记录下,像html邮件,附件等也是支持的,需要时查文档即可1 登录邮件服务#!/usr/bin/env python# -*- coding:原创 2014-08-15 22:03:56 · 10183 阅读 · 0 评论 -
[Linux]nginx tomcat做负载均衡
之前使用nginx做过web反向代理,没有做过负载均衡,今天有个同学需要做tomcat的负载均衡,我也研究下。一共是2个机器,一个物理机(win7)上面部署2个tomcat,使用不同的端口启动。vm中的虚拟机放(centos)nginx,给tomcat做负载均衡.inux ip: 192.168.37.129win ip: 192.168.37.1首先保证两个主机可以互原创 2014-11-18 19:07:26 · 2754 阅读 · 0 评论 -
[系统运维]Supervisord安装和启动程序
supervisord是client/server 系统把不是守护进程的进程变成守护进程监控它自己启动的进程,类似于看门狗可以作为开机启动的一种封装可以精确控制进程的状态,而不是pidfile那么不准确安装说白了就是个python包,官方文档,我这里系统是centos6.5 root用户#系统换进centos5.1pip install supervisor一般安装原创 2014-11-20 19:05:25 · 22434 阅读 · 0 评论 -
[Python监控]psutil模块简单使用
安装很简单pip install psutil官网地址为https://pythonhosted.org/psutil/ (文档上有详细的api)github地址为https://github.com/giampaolo/psutil/psutil比较好的地方,一个是跨平台,不需要切换平台的时候在重新开放了,另外一个好原创 2014-12-12 11:13:49 · 15084 阅读 · 0 评论 -
[supervisor] 使用小记(入门教程)
之前到现在很久没有用了,还是从安装说下,做个简单的实验,系统为Ubuntu14.04sudo pip_python install supervisorsudo echo_supervisord_conf > /etc/supervisord.conf # 会报错 permission denied: /etc/supervisord.conf,可以使用下面的语句sudo su - roo原创 2015-04-15 11:58:20 · 10595 阅读 · 3 评论 -
expect 简单使用
简单的登陆脚本这样就不用每次都输入ssh命令了,使用密码还是有些不安全,谨慎使用。#!/usr/bin/expect -f#filename: auto_login.sh#author: orangleiu v1.0# out time is 30 sset timeout 30#login first server, middle loginspawn ssh erya@221.7.1原创 2015-05-16 22:42:56 · 1731 阅读 · 0 评论 -
[sersync] github镜像 二进制包
这几天在搞数据的本地备份和远程备份的事情,用到了sersync这个国产的同步工具,可是发现他托管在google code,需要fanqiang才能下载, 于是就弄了一个github的镜像,顺便把64位的二进制包也放到上面,这样安装时候直接wget就好了。sersync github镜像sersync 下载地址wget --no-check-certificate https://raw.gith原创 2015-06-30 18:05:51 · 5239 阅读 · 0 评论 -
[sersync+rsync] centos6.5 远程文件同步部署记录
针对本地文件的修改,自动同步到远程文件夹,远程备份很方面。研究了下大家的主流同步方案一般是 rsync+inotify和rsync+sersync, 我这里使用sersync的方案,当然大部分都是参照前人经验,感谢他们的无私。概述我这里的目的是为了远程同步mysql的备份文件,centos6.5 同步到另一台centos主机 使用rsync+sersync做实时同步时,用于推送文件 的原创 2015-06-30 18:59:05 · 4903 阅读 · 0 评论 -
[rrdtool]监控和自动画图,简单的监控.md
现在想要监控服务的流量和并发数,可是又没那么多时间来写系统,其他的运维系统又不熟悉,于是就用现有的rrdtool shell做了个简单的监控界面,临时用下,也算是个小实验把。 rrdtool也是刚接触,算是一个小练习流程大致的流程是这样的(centos6操作系统)初始化rrd数据库shell脚本定时更新rrd中的数据shell脚本定时画图(这里就画了一个24小时的)生成图片html,把图片原创 2015-07-03 11:43:26 · 4474 阅读 · 0 评论 -
【shell脚本】ftp自动上传mysql备份文件
上一篇中 [mysql]每日备份shell脚本 给出了使用mysqldump备份到本地的脚本,接着下面是利用ftp把备份文件传输到远程服务器的脚本。 当然也可以用scp,rsync等等方案。#!/bin/sh#############################orangleliu#ftp 上传指定的文件#centos 使用 (mac上日期的格式化并不是很好使)#注意ftp一定要切换原创 2015-07-20 15:18:39 · 2068 阅读 · 0 评论 -
Flume avro client和hdfs sink 完成自定义目录文件收集
准备背景: 把分散在个边缘Node的访问日志收集到中央节点,然后在做后续的处理。边缘Node(例如hostname为BJ-NODE1) 上的日志每分钟切出来一个文件,通过 Flume avro client 把5分钟粒度内的日志上传到中央节点,生成一个文件,文件名类似 BJ-NODE1_timestamp.log。大概的逻辑如下图avro clientD中央avro clientavro ...原创 2019-04-11 14:23:03 · 1396 阅读 · 0 评论