- 博客(31)
- 收藏
- 关注
RSS订阅原创 eagle 实时监控hadoop
Eagle是eBay开源的一个分布式实时安全监控方案。通过离线训练模型集合实时流引擎监控，能立即监测出对敏感数据的访问或恶意的操作，并立即采取应对的措施。下图是Eagle的架构。 Eagle的数据行为监控方案可用于如下几类典型场景：监控Hadoop中的数据访问流量检测非法入侵和违反安全规则的行为检测并防止敏感数据丢失和访问实现基于策略的...
2016-03-28 09:50:11
436
sso_django1.9.4开发环境配置与初步MTV(系列1)
开发环境： mac pyhon 2.7.11 django 1.9.4 sqlite3 virtualenv pycharm 5.0.4 配置： 安装virtualenv ： sudo pip install virtualenv ...
2016-03-27 18:59:20
134
原创 python发送email
第一种方法： Python代码 # -*- coding: utf-8 -*- import email import mimetypes from email.MIMEMultipart import MIMEMultipart from email.MIMEText import MIMEText from email.MIMEIm...
2016-03-27 16:59:33
300
原创 一种基于哨兵的缓存访问策略
一种基于哨兵的缓存访问策略学习自 一种基于“哨兵”的分布式缓存设计通常的缓存访问如下，箭头表示访问量，且为同一时刻访问。如果Redis缓存命中，那么web就不会访问数据库，否则，客户端有N个并发请求就会有N个对数据库的并发请求，伴随而来的可能会是N个Redis SET操作。为了消除这种情况下多余的请求，减轻数据库压力，引入一个“哨兵”请求，即当缓存不命中时，只有一个请求能落到...
2016-03-26 09:29:36
163
原创 JAVA内存泄漏问题处理方法经验总结
JVM问题，一般会有三种情况，目前遇到了两种，线程溢出和JVM不够用 1.线程溢出：unable to create new native thread1.1问题描述：系统在1月4号左右，突然发现会产生内存溢出问题，从日志上看，错误信息为： 导致系统不能使用，对外不能相应，但是观察gc等又处于正常情况，free 系统内存也正常。开始重启机器进行解决，真正的原因查找，过程比...
2016-03-26 09:22:12
329
原创 Elasticsearch做"关联查询"——nested-parent关系
Elasticsearch作为一个面向文档的存储服务，并没有严格意义上的关联查询能力。但可以通过mapping来指定文档的nested-parent关系，实现关联。 下面以学生(student)和班级(clazz)的关系为例，演示这种"关联查询"： 建立一个索引test，有student和clazz两个type，存储班级和学生首先设置班级和学生的mapping：...
2016-03-26 09:18:52
181
原创 除了viso还可以有更高效的画图方式组合
使用 Sublime + PlantUML 高效地画图字数2159 阅读13209 评论90 喜欢395程序员难免要经常画流程图，状态图，时序图等。以前经常用 visio 画，经常为矩形画多大，摆放在哪等问题费脑筋。有时候修改文字后，为了较好的显示效果不得不再去修改图形。今天介绍的工具是如何使用 Sublime + PlantUML 的插件画流程图，状态图，时序图等。这是一种...
2016-03-26 09:10:32
198
原创 zabbix 报警之微信报警
日常都是短信和邮件的报警，虽然已经可以满足需求，但是对于现在微信这么流行的情况下能用微信报警自然更方便，更加迅速和实时，毕竟现在微信基本上天天都会使用，而且流量现在也比较便宜 一、微信设置1.1 微信号介绍看 微信·公众平台 首页介绍也看到微信·公众平台 有三种类型服务号公众平台服务号，是公众平台的一种帐号类型，旨在为用户提供服务。1个月...
2016-03-18 09:29:34
229
原创 搜狐视频Redis私有云平台（cachecloud
一、CacheCloud是做什么的CacheCloud提供一个Redis云管理平台：实现多种类型(Redis Standalone、Redis Sentinel、Redis Cluster)自动部署、解决Redis实例碎片化现象、提供完善统计、监控、运维功能、减少开发人员的运维成本和误操作，提高机器的利用率，提供灵活的伸缩性，提供方便的接入客户端cachecloud-01 ...
2016-03-18 09:17:14
161
原创 基于jenkins动态化参数化构建
由于上一篇是通过触发git操作来实现自动化构建和发布，回滚和发布不太可控，可以采用动态参数获取发布分支的方式方便发布和回滚目标： 选择合适版本发布到合适的服务器环境（目前分支策略是，提测时创建发布分支release- date +%Y%m%d-%H%M%S ）1.安装插件 Dynamic Parameter Plug-in2.设置 参数化构建过程3.使用...
2016-03-17 18:25:49
1292
原创 Linux PAM&&PAM后门
0x00 PAM简介PAM （Pluggable Authentication Modules ）是由Sun提出的一种认证机制。它通过提供一些动态链接库和一套统一的API，将系统提供的服务和该服务的认证方式分开，使得系统管理员可以灵活地根据需要给不同的服务配置不同的认证方式而无需更改服务程序，同时也便于向系统中添加新的认证手段。PAM最初是集成在Solaris中，目前已移植到其它系统中，如...
2016-03-17 18:11:26
262
原创 自动立体化运维监控理念
场景客户投诉有问题，于是研发测试运维开始投入定位和分析问题。A 研发去查日志，但是线上机器好多，一台一台的看， 日志文件太大，网速又慢，只能干等......B 研发同学觉得数据库可能有问题，但是自己又不能直接操作数据库，只能找DBA，但是DBA正好不在......C 运维同学更头大，一边要应付研发和测试的各种问题，一边还要自己查机器CPU、内存、io、网络、程序...
2016-03-17 10:05:53
365
1
原创 日志系统方案需求与实现
overview:1.聚合数据展示2.过滤数据3.读写分离集群4.ms级响应查询5.重要数据归档6.基于ossec logstash es 大数据安全关联分析需求与实现需求1: 能像tail -f 查看日志，集中式查看日志，不用单节点去查看。 解决需求1： 先调研开源日志方案:...
2016-03-14 11:10:06
904
原创 MAC下终端sqlite3简单使用
最近在做django的sso，用到两类数据库mysql ,sqlite3 ,对比分析一下,sqlite3可以支术达到2TB的数据量，在量小的情况下，比mysql方便多了。所以决定用sqlite3. sqlite一些语法 在sqlite>下输入.help你就会看到很多命令.嘿嘿,我也是刚开始研究,在这介绍一下我用到的吧....
2016-03-12 11:01:41
209
原创 读唯品会NoSQL平台自动化发展及运维经验分享
看完后，点赞。 点子不错，基于zabbix，再次封装api，dashboard可以创造这么多强悍实用的功能，不错。 所用的技术栈不是很新，但是用得到好，用得深入，产生了价值。 各位好，这篇文字是我上周在中华数据库和运维大会上分享的PPT，具体的内容是围绕唯品会NoSQL平台自动化发展过程以及一些运维经验，这里结合PPT加上文字...
2016-03-11 10:05:16
286
原创 socke理解 内核调用time_wait 深入理解
你遇到过TIME_WAIT的问题吗？ 我相信很多都遇到过这个问题。一旦有用户在喊：网络变慢了。第一件事情就是，netstat -a | grep TIME_WAIT | wc -l 一下，哎呀妈呀，几千个TIME_WAIT。 然后，做的第一件事情就是：打开Google或者Bing，输入关键词：too many time wait。一定能找到解决方案，而排在最前...
2016-03-11 09:33:10
496
原创 lua作用域本质
lua没有全局变量，为什么这样设计呢？ 以这个文件为例说明 test.lua-------------------------------------a = 100;local m = 4; function foo()local i = 5;print(a, m, i); function bar()print(a, m, i);...
2016-03-11 09:16:20
1080
原创 elastic作数据源，对比kibana与grafana
今天说说，我们为什么会选择从kibana4迁移到grafana，并选用grafana作为elasticsearch的图表展现工具。 文章中关于kinaba和grafana的对比会有些片面，勿喷. 最一开始使用kibana ElasticSearch的组合是为了集中式收集应用及系统日志. 后来由于业务方面的原因，现在各个业务的多数模块也选择依赖elasticsearch...
2016-03-10 15:37:47
1494
jvm调优其实就是对Young代的次数与时间调优
最近在做埋点监控，做到jvm这一块。刚好可以理一下思路： 看过很多jvm理论的文章，总觉得讲得太复杂了，但用来也就那么几个参数。so ,化繁为简，只记我要用的。 1.为什么会OOM溢出，是持久代满了。 2.堆与栈（非堆no-heap）区别，堆主要用于存储new 信息，栈用于线程开销，通过jstat pid 100s 查看栈的一般都是水平的趋势...
2016-03-10 10:11:31
2979
jvm调优其实就是对Young代的次数与时间调优
最近在做埋点监控，做到jvm这一块。刚好可以理一下思路： 1.为什么会OOM溢出，是持久代满了。 2.堆与栈（非堆no-heap）区别，堆主要用于存储new 信息，栈用于线程开销，通过jstat pid 100s 查看栈的一般都是水平的趋势。 3.堆又分eden ,survivor区，由eden向survivor copy.常...
2016-03-10 10:07:17
372
原创 Linux shell获取时间和时间间隔(ms级别)
说明：在进行一些性能测试的时候，有时候我们希望能计算一个程序运行的时间，有时候可能会自己写一个shell脚本方便进行一些性能测试的控制(比如希望能运行N次取平均值等），总之，这其中有一个需求可能就是获取一个时间戳或时间差。 1. Linux shell获取时间的相关命令time命令：获取一个程序的执行时间，可以获取到实际运行时间以及程序在用户态和内核态分别的时间，大部分...
2016-03-06 12:01:21
843
原创 Linux Shell实现模拟多进程并发执行
在bash中，使用后台任务来实现任务的“多进程化”。在不加控制的模式下，不管有多少任务，全部都后台执行。也就是说，在这种情况下，有多少任务就有多少“进程”在同时执行。我们就先实现第一种情况：实例一：正常情况脚本———————————————————————————–#!/bin/bashfor ((i=0;i<5;i++));do { sleep 1;echo 1...
2016-03-06 11:58:00
836
原创 论产品的需求与实现系列之监控系统
产品的需求与实现系列： 论产品的需求与实现系列之日志系统 论产品的需求与实现系列之监控系统 论产品的需求与实现系列之数据平台 论产品的需求与实现系列之ci持续集成 说到监控，这是一个老生常谈的话题，常见的nagios,zabbix,openfalcon,zenoss,hyp...
2016-03-05 20:15:55
137
论产品的需求与实现系列之数据平台
产品的需求与实现系列： 论产品的需求与实现系列之日志系统 论产品的需求与实现系列之监控系统 论产品的需求与实现系列之数据平台 论产品的需求与实现系列之ci持续集成 搭建这一套是一个组合airpal+presto，也就是一个系统，既叫平台，是由于这个组合可以跨不同的数据库操...
2016-03-05 17:44:02
139
论产品的需求与实现系列之ci持续集成
产品的需求与实现系列： 论产品的需求与实现系列之日志系统 论产品的需求与实现系列之监控系统 论产品的需求与实现系列之数据平台 论产品的需求与实现系列之ci持续集成 ci用过了两个产品，一个是hudson,另一个是jenkins.关于这两个的历史可以jenki...
2016-03-05 10:13:50
183
原创 Hudson和Jenkins的恩恩怨怨
Hudson是在2004年的夏天由Sun公司开发的（就是开发Java的那家），2005年2月开源并发布了第一个版本。Hudson发布的时候CruiseControl是CI界的老大哥，但是很快，在大约2007年的时候Hudson已经超越CruiseControl。2008年5月的JavaOne大会上，Hudson获得了开发解决方案类的Duke’s Choice奖项。从...
2016-03-05 09:49:56
129
原创 基于ELK+Beats进行系统监控
（一）Beats是什么？ Beats是elasticsearch公司开源的一款采集系统监控数据的代理agent，它可以发送不同类型的数据到elasticsearch中，也可以行将采集完的数据发送到logstash中转，然后在推送到elasticsearch中，目前还在发展中，与成熟的监控系统zabbix和ganglia相比就界面看起来爽了点，系统功能还是有点弱，不过与elas...
2016-03-04 20:53:49
472
论产品的需求与实现系列之日志系统
产品的需求与实现系列： 论产品的需求与实现系列之日志系统 论产品的需求与实现系列之监控系统 论产品的需求与实现系列之数据平台 论产品的需求与实现系列之ci持续集成 刚开始的需求1: 能像tail -f 查看日志，不用单节点去查看。 ...
2016-03-04 20:45:31
149
原创 关于statsd写得非常棒的原文
If Engineering at Etsy has a religion, it’s the Church of Graphs. If it moves, we track it. Sometimes we’ll draw a graph of something that isn’t moving yet, just in case it decides to make a ru...
2016-03-03 18:05:39
676
原创 StatsD 五种类型数据发送形式拟测试
statsd 五种类型数据发送形式拟测试 StatsD Metric TypesCountinggorets:1|cThis is a simple counter. Add 1 to the "gorets" bucket. At each flush the current count is sent and reset to 0. I...
2016-03-03 17:22:12
591
原创 ELK logstash 处理mongodb日志
不同mongodb版本的日志格式不同，这个需要看mongodb官方对日志格式的定义，在处理前自己去做好这方面的功课。还有就是，要抓取自己感兴趣的内容，这个根据各自的需求来做，没有千篇一律的，全凭各自喜好。grok预定义的正则匹配规则可以参考 https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patte...
2016-03-03 16:51:53
740
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人