2016年02月_ronon77

原创 python设置源

以django为例进行测试说明卸载了自己的django pip uninstall django遇到 Proceed (y/n)? 的提示, 输入y回车. 然后重新安装djangopip install django耗时 38秒. 再次卸载django, 然后使用豆瓣的源再次安装djangopip in...

2016-02-28 17:07:06 667

重构ci的shell，引入模块概念解藕

第一版ci的shell上线运行有半年了，虽说一直很稳，由于之前做的时候，是边做完一个功能边上线的，导致所有的功能都放到一个shell中，应用模块多了之后，这样维护成本很高，假如有十个应用，每个应用集群三个节点，就是10Ｘ3的工作量，效率很低。刚好现在有时间重构，效率，效率，效率........ 第一版的视图： ...

2016-02-27 10:53:41 154

原创用户访问app缓存的过程

在web项目中，大家都已经非常熟悉其架构流程了。都说Cache是万金油，哪里不舒服抹哪里。这些流程中，几乎每个环节都会进行cache。从浏览器到webserver，到cgi程序，到DB数据库，会进行浏览器cache，数据cache，SQL查询的cache等等。对于fastcgi这里的cache，很少被使用。去年年底，我对nginx的fastcgi_cache进行摸索使用。在我的测试...

2016-02-27 10:13:58 234

原创 shell 常用小命令备忘

本篇主要讲述命令如下，排序命令，搜索数据命令，压缩命令，解压缩命令，这几个命令在实际的使用中，使用的非常频繁。（1），排序命令sort Java代码 [search@h1 ~]$ cat a.txt a z b d [search@h1 ~]$ 使用排序后，sort a.txt Java代码...

2016-02-27 09:49:39 103

原创 shell自动化部署批量建立用户和批量SSH配置

脚本如下：批量建立用户的脚本cuser.sh： Shell代码 if [ ! $# -eq 2 ] ; then echo "请输入用户名和密码以空格分开!" exit else name="$1" passwd="$2" fi cat hosts | while read hosts do...

2016-02-27 09:42:34 198

原创用lua让nginx成为应用服务器

相遇是件难得的事情，在一起更不简单，但是nginx和lua就是成功的结合起来。文本将以演进式方式与大家一起分享lua的威力和nginx的优秀架构。 1、从猩猩那个年代说起从互联网进入人类生活开始，用户和服务器就扮演着你来我往的角色，从技术角度描绘就是一直存在着request/response（请求/响应）的架构。如今随着网络设施的加强，人们对网站内容的需求也更多样化，从...

2016-02-26 17:37:06 204

原创 NGINX开发杀手锏-线程池

nginx以高性能著称，在其内部运转的过程中，没有任何阻塞操作（极端情况还是存在)，跟外部的通讯（比如fastcgi）以完全异步的方式进行。在线程池引入之前，我们已经觉得这足够完美。但是线程池的出现，让nginx在性能方面上了一个新的高度。本文将通过一个例子展现这个杀手锏。 1、需求：我们想让nginx直接跟mysql通讯，你可以选择drizzle，这是异步的方式...

2016-02-26 16:46:04 563

原创 nginx支持js语言

nginx一直希望支持更多的脚本能力，现在js已纳入旗下。多余的不说了，直接尝鲜吧！0. 安装> cd /tmp && mkdir njs && cd njs> wget http://nginx.org/download/nginx-1.8.0.tar.gz> wget http://hg.nginx.org/njs/a...

2016-02-26 15:17:25 1474

原创阅读博客添加收藏 nginx动态代理方案

我做的是nginx +lua+redis 0、需求：动态调整转发策略数据库存放着大量的用户数据，需要制定一个策略，负载均衡服务器可以根据用户信息，动态转发请求。比如A用户(001)的请求转发到A服务器(192.168.1.101)，B用户(002)的请求转发到B服务器(192.168.1.102)，C用户(003)的请求转发到A服务器(192...

2016-02-26 15:13:16 124

nginx 取不到返回值的分析过程

由nginx负载遇到一个取不到返回值的问题：第一步先put,状态码:200 "PUT /api/execut 第二步get返回值，状态码:500 "GET /api/preview? 我尝试过解决办法： 1.试不同的配置方法 1.1 配置通用的匹配 ...

2016-02-26 14:45:01 3166

原创参加2015 qcon 回来的分享及年末做一次内部“监控演进分享”

有幸参加2015的qcon三天会议，回来做的分享：年末内部又有机会做一次监控的演进分享知识的总结..........

2016-02-25 15:23:21 242

我做过的三种sso对比

第一种很常见的sso，是整合开源的cas＋tomcat。这种方式不好的地方在于做集群负载session共享。我试了jboss，tomcat,还是发现ticket丢失，偶尔听运营同事反馈说，又有用户登陆不了，但重新刷新一下又可以了。时间久了，大家都会刷新解决问题。第二种利用nginx作统一网关的形式。这种方式不友好的地方在于要记住很多域名，...

2016-02-25 14:58:51 634

原创 statsd发送数据类型五种方式

Countinggorets:1|cThis is a simple counter. Add 1 to the "gorets" bucket. At each flush the current count is sent and reset to 0. If the count at flush is 0 then you can opt to send no metric a...

2016-02-25 09:10:41 527

原创 intellij IDEA 15 更改字体

https://github.com/chrissimpkins/codeface 先到这里下载所需的字体库打开intellij IDA 的preference--->edit------>color

2016-02-24 11:44:56 233

原创 nginx配置lua模块和基于lua的waf三种方式

nginx和lua都注重性能，使用lua扩展nginx大大增强了nginx的灵活性。nginx支持lua需要用到ngx_lua模块，在nginx wiki中推荐使用openresty，编译时加上--with-luajit参数就行了，我用的模块不多，更喜欢轻量和高性能的tengine，采用手动编译也不复杂。一、准备服务器环境：centos 6.6 64位 ,tengine2.1.0 , o...

2016-02-24 09:40:50 583

原创 zabbix监控mysql的QPS和TPS的python写法

#!/usr/bin/env python#coding=utf-8 import sysimport osimport commands class QpsTps(object): def __init__(self): self.QPS = '' self.TPS = '' def getQps(s...

2016-02-24 09:24:34 259

原创 ELK中无法启动kibana，解决“Elasticsearch is still initializing the kibana index… ”

kibana出现无法启动的问题，5601端口未连接，但进程存在，查看日志发现有如下报错“Elasticsearch is still initializing the kibana index… Trying again in 2.5 second.”ps:查看日志可以用 kibana -l xxx.log{“name”:”Kibana”,”hostname”:”kt5...

2016-02-23 14:35:23 2313

from:https://www.t00ls.net/thread-32593-1-1.htmlELK是什么东西?ELK是ElasticSearch、Logstash、Kibana三个应用的缩写。 ElasticSearch简称ES，主要用来存储和检索数据。Logstash主要用来往ES中写入数据。Kibana主要用来展示数据。为什么用ELK?传统的社工库通常用MySQL数据库来进行搭建，在...

2016-02-23 11:40:11 3718 1

原创 kibana4 的安装、配置和使用

Kibana5 都出来了...... 简介kibana 是 Elastic.co 提供的个性化统计数据、图标展示页面，而 kibana4 则是一个全新的改版，与 kibana3 有着本质的不同kibana3 实质上是一组页面，通过 nginx 或 Apache 或其他任何一个服务器配置域名到目录的映射，实现访问，而全新的 kibana4 中集成了 nodej...

2016-02-23 10:57:30 415

原创 nginx location 规则

location 匹配规则语法规则location [=|~|~*|^~] /uri/ { … }多个location配置的情况下匹配顺序为（参考资料而来，还未实际验证，试试就知道了，不必拘泥，仅供参考）:首先匹配 =其次匹配 ^~其次是按文件中顺序的正则匹配最后是交给 / 通用匹配当有匹配成功时候，停止匹配，按当前匹配规则处理请求例子，有如下匹...

2016-02-23 10:55:54 82

原创 jekyll笔记

我的博客用的就是用 jekyll搭建的，有几年历史了，同时《 JavaScript简易教程》也是基于jekyll搭建的，可以说我使用jekyll很长时间了，也算是比较熟悉了，最近我打算基于jekyll搭建一个新的东西，但却发现自己平时只是使用而且，竟然记不清搭建的流程，这篇博客就是由此产生。本文介绍jekyll的安装，使用的方法，记录下来供自己和大家使用。简介Jekyll是一个静态站...

2016-02-23 10:30:47 140

原创 nginx cache静态化+tmpfs 高性能cdn方案

1 摘要本文档主要分为3部分内容：（1）解决不同URL访问不同后端的nginx配置方法（2） Nginx cache和内存文件系统的配置方法（3） Proxy cache的详细配置内容2 匹配不同URL访问不同后端如果想通过访问不同类别URL分配到不同的后端通过nginx实现，首先举个例子，将需求场景进...

2016-02-22 21:08:14 242

原创 IaaS，PaaS和SaaS及其区别

云计算的三种服务模式：IaaS，PaaS和SaaSInfrastructure（基础设施）-as-a-Service，Platform（平台）-as-a-Service，Software（软件）-as-a-Service。基础设施在最下端，平台在中间，软件在顶端。 IaaS: Infrastructure-as-a-Service（基础设施即服务）是第一层。PaaS: ...

2016-02-22 09:15:22 1001

原创 elasticsearch防止内存溢出

Limiting Memory UsageeditOn this pageFielddata SizeMonitoring fielddataCircuit BreakerElasticsearch - The Definitive Guide: 2.x (current)1.xForewordPrefaceGetti...

2016-02-22 09:07:25 3049

原创 elasticsearch的索引如何才能做到平滑切换

需求：我有一个shoptopic_20150916的index，我需要把shoptopic_20150916的数据索引到shoptopic_20150917上，但shoptopic_20150916索引的数据还在不断增加，用户还在写入数据，我怎么把shoptopic_20150917替换shoptopic_20150916，而且在不重启集群的情况下？ ...

2016-02-22 08:53:08 568

原创 Elasticsearch结合Nginx使用

Elasticsearch是一种先进的，高性能的，可扩展的开源搜索引擎，提供全文搜索和实时分析的结构化和非结构化数据。它的特点是可以使用RESTful API over HTTP，因此很容易融入现代网络架构。由于NGINX具有出色的性能非常高并发率,再加上负载平衡的HTTP流量功能，这是非常适合用作为您扩展到多个Elasticsearch服务器的反向代理负载均衡。部署NGINX...

2016-02-22 08:43:16 177

原创 Nginx添加header防止网页被iframe

页面给很多可恶的人调用己经不是什么怪事了，我们网站经常被人直接利用iframe调用了，后来找了一些方法防止页面给调用了。下面主要说说几种防止被CrossFrame的方法：可以使用php或nginx等添加X-Frame-Options header来控制frame权限X-Frame-Options有三个可选的值：DENY：浏览器拒绝当前页面加载任何Frame...

2016-02-21 09:08:04 1793

怎样做实时日志二套方案

实时日志1.需求/问题需求随着业务增长，服务器增多，最开始是登陆服务器查看日志，这对于几台服务器的需求，还是勉强能应付过去的。但有两个不好的方面，一是零散，不够集中高效查看日志，寻找根源；二是不安全，要对开发，测试等同学开帐号权限。因此日志系统就应运而生了，集中高效web方式搜索查看日志。问题 a.采集延时15s。这是由于logstash默认机制造成...

2016-02-20 13:09:31 130

原创 NGINX 配置 Pagespeed 压缩网站静态资源

Pagespeed 是一个开源项目，该项目在 Github 的开源地址为：https://github.com/pagespeed/ngx_pagespeedPagespeed 能够压缩您站点上的静态资源（CSS、JS、图片等），从而加快用户的网页加载速度。Pagespeed 支持 Apache、Nginx。本文，我们以 Nginx 为例进行 Pagespeed 配置。分三个步骤：...

2016-02-18 17:35:24 215

原创 PageSpeed，为Nginx网站服务器提速

网站加载速度越快，访客互动性、留住率和转换率就越高，这早已不是什么秘密。网站每延迟100毫秒，亚马逊的销售额就会减少1%；延迟增加500毫秒，这意味着谷歌的流量和收入就会减少20%。要是有一个办法可以为你的网站服务器提速，又不必升级到功能更强大的服务器，就没有理由不试一试这个办法。我在本教程中将介绍如何优化Nginx网站服务器，以提升其性能。虽然Nginx网站服务器本身已俨然成为运行速...

2016-02-18 17:34:10 158

原创 nginx缓存cache的5种方案

nginx缓存cache的5种方案　　1、传统缓存之一（404）　　这个办法是把nginx的404错误定向到后端，然后用proxy_store把后端返回的页面保存。　　配置：　　location / {　　root /home/html/;#主目录　　expires 1d;#网页的过期时间　　error_page 404 =200 /fetch$request_uri;#404...

2016-02-18 17:13:22 79

原创分布式搜索elasticsearch配置文件详解

配置文件位于%ES_HOME%/config/elasticsearch.yml文件中，用Editplus打开它，你便可以进行配置。所有的配置都可以使用环境变量，例如：node.rack: ${RACK_ENV_VAR} 表示环境变量中有一个RACK_ENV_VAR变量。下面列举一下elasticsearch的可配置项： 1. 集群名称...

2016-02-18 09:51:31 74

原创 nginx prosy set header的理解

nginx为了实现反向代理的需求而增加了一个ngx_http_proxy_module模块。其中proxy_set_header指令就是该模块需要读取的配置文件。在这里，所有设置的值的含义和http请求同中的含义完全相同，除了Host外还有X-Forward-For。 Host的含义是表明请求的主机名，因为nginx作为反向代理使用，而如果...

2016-02-17 10:44:32 150

原创控制Elasticsearch分片和副本的分配

ES集群中索引可能由多个分片构成，并且每个分片可以拥有多个副本。通过将一个单独的索引分为多个分片，我们可以处理不能在一个单一的服务器上面运行的大型索引，简单的说就是索引的大小过大，导致效率问题。不能运行的原因可能是内存也可能是存储。由于每个分片可以有多个副本，通过将副本分配到多个服务器，可以提高查询的负载能力。为了进行分片和副本的操作，ES需要确定将这些分片和副本放到集群节点的哪个位置...

2016-02-16 16:14:07 210

原创 ElasticSearch入门- 设置分片副本数量及putMapping

在之前的一篇文章中，写到如何创建mapping。里面只是简单的创建了一个mapping。其实，这种比较重要并且一旦建立无法修改的操作还是需要仔细规划的。今天我介绍设置index的分片数量及副本数量，即创建索引的如何指定分片的个数及副本的个数。分片的个数在创建之后是无法再增加和减少的，除非你另外建一个索引库，而副本是可以在运行的时候，动态增加和减少。因此，在创建索引库时，规划好分片...

2016-02-16 16:06:55 1412

原创使用logstash+elasticsearch+kibana快速搭建日志平台

https://www.loggly.com/日志的分析和监控在系统开发中占非常重要的地位，系统越复杂，日志的分析和监控就越重要，常见的需求有:根据关键字查询日志详情监控系统的运行状况统计分析，比如接口的调用次数、执行时间、成功率等异常数据自动触发消息通知基于日志的数据挖掘很多团队在日志方面可能遇到的一些问题有:开发人员不能登录线上服务器查看详细日志，经过运...

2016-02-16 14:08:23 108

原创 Python中你不知道的特性

无穷嵌套的列表 >>> a = [1, 2, 3, 4] >>> a.append(a) >>> a [1, 2, 3, 4, [...]] >>> a[4] [1, 2, 3, 4, [...]] >>> a[4][4][4][4][4][4][4][4][4]

2016-02-15 09:27:17 62

原创 GitHub上搭建个人网站

##0.背景准备重新捡起博客，记录自己的生活，特别是技术生活（过于私密的东西，也不敢往博客上放不是）。个人博客有两个途径：a.使用已有的博客网站; b.搭建自己的私人网站。调研了一下国内博客网站，（CSDN、javaEye、OSCHINA等）普遍文字格式、代码编排样式不是很喜欢（太挑剔了？对，我就是一个挑剔的人），这让自己转向私人博客。可以预想到，自己搭建要稍微复杂一点，话又说回来了，作为s...

2016-02-15 09:18:08 457

原创消息队列（Message Queue)基本概念，如redis，kafka

##背景之前做日志收集模块时，用到flume，另外也有的方案，集成kafaka来提升系统可扩展性，其中涉及到消息队列，当时自己并不清楚为什么要使用消息队列，而在我自己提出的原始日志采集方案中不适用消息队列时，有几个基本问题：1.日志文件上传过程，有个基本的生产者-消费者问题；2.另外系统崩溃时，数据丢失的处理问题。今天，几位同事再次谈到消息队列这么个东西，很NB的样子，我也想弄清楚，OK...

2016-02-15 08:54:47 177

原创使用ganglia监控hadoop及hbase集群

一、Ganglia简介Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式，才使得 Ganglia 可以实现良...

2016-02-15 08:44:12 111

空空如也

空空如也