yanggd1987的专栏

背景FastNetMon+Influxdb+Grafana+GoBGP可搭建一套基于 NetFLOW / sFLOW 的流量统计报告系统，其中：FastNetMon 是一个基于多种抓包引擎（NetFlow, IPFIX, sFLOW, netmap, PF_RING, PCAP）的DoS/DDoS攻击高效分析工具，可以探测和分析网络中的异常流量情况，同时可以通过外部脚本通知或阻断攻击；InfluxDB 是一款开源开源时序型数据库，和FastNetMon集成，用于将数据统计进行存储；Grafana

通过zabbix监控mysql的tps和qps，我们之前的percona mysql模板是没有关于这两个监控项的，需要我们通过脚本进行统计分析。 一、脚本思路：#统计qps来源show global status where Variable_name in('com_select','com_insert','com_delete','com_update');#统计tps来源sho...

需求通过分析nginx访问日志，获取每个接口响应时间最大值、最小值、平均值及访问量。实现原理将nginx日志uriuri upstream_response_time字段存放到pandas的dataframe中，然后通过分组、数据统计功能实现。实现1.准备工作#创建日志目录，用于存放日志mkdir /home/test/python/log/log#创建文件，用于存放从nginx日志中提取的$u

简介本文主要介绍了读取mysql中的数据，将其保存至numpy和pandas中，通过matplotlib进行可视化数据分析。一、环境搭建 使用anaconda搭建科学计算环境，并安装相关软件包。conda create -n science python=2 numpy pandas matplotlibsource activate science pip install mysql-pyt

一、环境搭建 使用anaconda建立科学计算环境，并安装相关软件包root@test:~/python/wordcloud# conda info -e# conda environments:#science /usr/local/miniconda2/envs/sciencescience_init /usr/local/mi

简介  利用python进行科学计算需要安装很多模块，如numpy、scipy、pandas、matplotlib等，而这些模块又依赖其他的软件包或库，因而安装使用起来相当麻烦。本文介绍的anaconda是将python科学计算所需要的模块都编译好，然后打包以发行版的形式供用户使用；其自带的包管理器conda可以安装软件包的多个版本和依赖，而且各个环境可以方便切换。   另外我们可以通过本文来了解

简介  在某些情况下我们的系统中需要多个版本的python环境或是不同的项目依赖与不同版本的模块，此时我们就需要virtualenv来搭建独立的python环境来进行隔离。它可以解决“项目X依赖于版本1.x，而项目Y需要项目4.x”的两难问题。   virtualenv的原理是把系统Python复制一份到virtualenv的环境，用命令source venv/bin/activate进入一个vi

简介在python爬虫之51job工作搜索我们只是通过python函数将其简单打印，在此我们将其进行封装成类，打印并写入mysql数据库中。 因此我们首先需要设计mysql的库和表结构，在此我们只用了简单的一个表，sql语句如下：#建库#create database 51job;#建表#create table job(job_id int not null auto_increment,

为方便查询12306的火车票信息，在此用python写了一个小工具，主要用到了docopt、requests、re、prettytable几个模块。其中： docopt模块作用是创建一个简洁漂亮的命令行交互界面，区别于sys.argv; requests模块作用是实现http请求，区别于urllib、urllib2等模块； re模块作用是正则表达匹配，用于匹配中文字符； prettytabl

简介  大多数情况下我们通过urllib2等模块可以对单纯的html进行爬取分析，但是当我们遇到的页面是js渲染的，我们需要去分析一个一个后台的请求，这就太蛋疼了。若我们使用像浏览器一样的工具来处理js渲染的页面，然后再通过BeautifulSoup来处理那就很容易了。   本文我们使用PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎；它原生支持多种web 标准：DOM 操作，

python模拟登陆网页主要使用到urllib、urllib2、cookielib及BeautifulSoup等基本模块，当然进阶阶段我们还可以使用像requests等更高级一点的模块。其中BeautifulSoup模块可以很好的代理re，使用起来更方便，对于不会使用正则的人来说是福音。本文使用python2.7原理模拟登陆前，我们需要先知道csdn是如何登陆的。我们通过google chrome浏

linux环境下通常使用shell来写小脚本守护某个服务，最近强制自己使用python来写管理脚本，在实践中学习python。shell在linux管理方面固然简单便捷，命令行直接调用，但是python可以直接套用模块来实现，比如说打印日志：在shell中我们需要定义日期，打印信息等内容，脚本显得比较乱；而python通过logging模块或其他模块，让我们减少繁琐操作。   下面我们就使用pyt

利用python的pycurl模块监控web站点，并通过nagios报警。 执行脚本python check_pinggu.py ip port host status_code 其中： ip和port组成proxy host为domain status_code为状态码脚本功能：以json格式post数据到指定的url，并判断状态码 和curl对比： cur

有一批windows系统需要监控，无论是zabbix、nagios都需要安装相关插件，操作起来比较麻烦。python的psutil模块可以跨平台监控linux、windows、mac等，于是使用python写监控脚本，然后利用py2exe工具将其打包成exe后，直接将其放到windows下直接运行即可。1.安装python2.7(32位)在https://www.python.org/