- 博客(77)
- 收藏
- 关注
转载 ELK之消息队列选择redis_kafka_rabbitmq
前言描述生产初级,Service服务较少,访问量较少,随着业务量的不断增加,日志量成倍增长,然后就遇到了消息队列redis被充爆,不能满足应用的情况。针对此情况,我们来分析下可用的消息多列。官方推荐消息队列redis、kafka、rabbitmq。我们现在针对这三种进行比较。从消息订阅模式比较Redisredis是基于内存的应用,消息都存放...
2018-02-05 14:25:00
359
转载 Python文件操作
对文件进行打包操作import osimport tarfile#压缩,创建.gz#创建压缩包名tar = tarfile.open('/tmp/tartest.tar.gz','w:gz')# 创建压缩包for root,dir,files in os.walk("/tmp/tartest"): print root print dir print ...
2018-01-27 13:50:00
166
转载 统计nginx日志的状态码
日志格式61.159.140.123 - - [23/Aug/2014:00:01:42 +0800] "GET /favicon.ico HTTP/1.1" 404 \ "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.3...
2018-01-27 13:49:00
786
转载 Redis Cluster机器内存充爆处理
机器配置系统:CentOS6.7 配置:4C8G 应用:Redis Cluster,实例化现象1、无法启动redis,启动后系统OOM,直接杀死 2、Redis: OOM command not allowed when used memory > ‘maxmemory’原因内存已满,不允许数据在写入 注: use...
2018-01-27 13:48:00
133
转载 JIRA部署破解和confluence整合
JIRA是一个项目跟踪管理工具,帮助团队创建计划任务、构建并发布优秀的产品。全球成千上万的团队选择JIRA,用JIRA来捕获、组织管理缺陷、分配任务,跟踪团队的活动。不论在桌面PC还是移动终端设备上,JIRA都能完美的运行,帮助团队完成工作。1. 环境准备CentOS 6.5 java jdk 1.8 mysql-server 5.6 jira-6.3.6.t...
2018-01-27 13:35:00
862
转载 rsyslog
Rsyslog简介rsyslog是一个开源工具,被广泛用于Linux系统以通过TCP/UDP协议转发或接收日志消息。rsyslog守护进程可以被配置成两种环境,一种是配置成日志收集服务器,rsyslog进程可以从网络中收集其它主机上的日志数据,这些主机会将日志配置为发送到另外的远程服务器。rsyslog的另外一个用法,就是可以配置为客户端,用来过滤和发送内部日志消息到本地文件夹(...
2018-01-27 13:35:00
93
转载 Kafka与Logstash的数据采集对接
Logstash工作原理由于Kafka采用解耦的设计思想,并非原始的发布订阅,生产者负责产生消息,直接推送给消费者。而是在中间加入持久化层——broker,生产者把数据存放在broker中,消费者从broker中取数据。这样就带来了几个好处:: 1 生产者的负载与消费者的负载解耦 2 消费者按照自己的能力fetch数据 3 消费者可以自定义消费的数量 由于brok...
2018-01-27 13:32:00
433
转载 confluence
ConfluenceConfluence是一个专业的wiki程序。它是一个知识管理的工具,通过它可以实现团队成员之间的协作和知识共享。 Confluence不是一个开源软件,非商业用途可以免费使用。 Confluence使用简单,但它强大的编辑和站点管理特征能够帮助团队成员之间共享信息,文档协作,集体讨论。1. 环境准备CentOS6.5 JAVA 1...
2016-12-29 14:59:00
246
转载 Memcache 监控
本文介绍zabbix、nagios、cacti对Memcache的监控一:zabbix企业应用之固定端口监控memcache一、在客户端1、到/usr/loca/zabbix/conf/zabbix_agentd.conf里添加UserParameter=memcached_stats[*],(echo stats; sleep 1) | telnet 127.0.0.1 $1 2>...
2016-07-28 17:25:00
70
转载 Memcache 优化建议
一、memcached工作原理基本概念:slab,page,chunk。slab,是一个逻辑概念。它是在启动memcached实例的时候预处理好的,每个slab对应一个chunk size,也就是说不同slab有不同的chunk size。具体分配多少个slab由参数 -f (增长因子)和 -n (chunk最小尺寸)决定的。page,可以理解为内存页。大小固定为1m。slab会在存储请...
2016-07-28 17:24:00
74
转载 Memcache CAS协议介绍及使用
1.什么是CAS所谓CAS,check and set,在写操作时,先检查是否被别的线程修改过。基本原理非常简单,一言以蔽之,就是“版本号”。每个存储的数据对象,多有一个版本号。我们可以从下面的例子来理解:如果不采用CAS,则有如下的情景:第一步,A取出数据对象X;第二步,B取出数据对象X;第三步,B修改数据对象X,并将其放入缓存;第四步,A修改数据对象X,并将其放入缓存。我们可以发现,...
2016-07-28 17:22:00
125
转载 Memcache的安装和使用
Memcache是高性能,分布式的内存对象缓存系统,用于在动态应用中减少数据库负载,提升访问速度。为了提高性能,memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中,因此重启memcached、重启操作系统会导致全部数据消失。另外,内容容量达到指定值之后,就基于LRU(Least Recently Used)算法自动删除不...
2016-07-28 17:22:00
59
转载 Memcache 分布式高可用集群介绍
分布式缓存需考虑如下三点:1、缓存本身的水平线性扩展的问题。2、缓存大病罚下的本身性能问题。3、避免缓存的单点鼓掌问题。分布式缓存存在的问题:1、内存本身的管理问题。内存的分配,管理和回收机制。2、分布式管理和分布式算法。3、缓存键值管理和路由。常见分布式算法 Memcached在实现分布集群部署时,Memcached服务端的之间是没有通讯的,服务端是伪分布式,实现分布式是...
2016-07-28 17:22:00
128
转载 Memcache介绍与应用场景
一:概念介绍 Memcache是一个高性能的分布式的内存对象缓存系统,通过在内存里维护一个统一的巨大的hash表,它能够用来存储各种格式的数据,包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调用到内存中,然后从内存中读取,从而大大提高读取速度(即用于在动态应用中减少数据库负载,提升访问速度)。 Memcache是以守护进程方式运行于一个或多个服...
2016-07-28 17:21:00
144
转载 Memcache 服务管理脚本
自定义脚本将memcached作为系统服务启动以及开机启动。一、编写脚本在/etc/init.d/目录下新建一个脚本,名称为:memcached。内容如下:vi /etc/init.d/memcached#!/bin/bash #description: Memcached Service Daemon #processname: Memcached #chkconfig: 2...
2016-07-28 17:21:00
67
转载 CentOS7无法使用tab补全功能??
Centos7在使用最小化安装的时候,没有安装自动补全的包,需要自己手动安装。yum -y install bash-completion或者你可以安装一些初始化的包组yum -y groupinstall Base Compatibility libraries Debugging Tools Dial-up Networking suppport Hardware monitorin...
2016-07-28 17:15:00
111
转载 分布式服务框架 Zookeeper -- 管理分布式环境中的数据
介绍 Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义,以及分析 Zookeeper 的典型的应用场景(配置文件的管理、集群管理、同步锁、...
2016-07-28 17:14:00
79
转载 Zabbix通过percona监控MySQL
因为Zabbix自带的MySQL监控没有提供可以直接使用的Key,所以一般不采用,业界的同学们都使用Percona Monitoring Plugins 监控 MySQL的方式Percona介绍Percona 为 MySQL 数据库服务器进行了改进,在功能和性能上较 MySQL 有着很显著的提升。该版本提升了在高负载情况下的 InnoDB 的性能、为 DBA 提供一些非常有用的性...
2016-07-26 12:01:00
150
转载 Logrotate还有谁记得它??
我发现很多人的服务器上都运行着一些诸如每天切分Nginx日志之类的CRON脚本,大家似乎遗忘了Logrotate,争相发明自己的轮子,这真是让人沮丧啊!就好比明明身边躺着现成的性感美女,大家却忙着自娱自乐,罪过!Logrotate的介绍logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除,并创建新的日志文件,我们把它叫做“转储”。我们可以根据日志文件的大小,也可以根据其...
2016-07-20 15:14:00
70
转载 Installing Percona XtraDB Cluster on CentOS
PXC简介Percona XtraDB Cluster(简称PXC集群)提供了MySQL高可用的一种实现方法。1.集群是有节点组成的,推荐配置至少3个节点,但是也可以运行在2个节点上。2.每个节点都是普通的mysql/percona服务器,可以将现有的数据库服务器组成集群,反之,也可以将集群拆分成单独的服务器。3.每个节点都包含完整的数据副本。 PXC集群主要由两部分组成:Perc...
2016-07-05 18:05:00
68
转载 MySQL数据库优化
思想:一切优化从业务为出发点思路:建议:根据OSI7层模型,从下往上进行优化。一:物理层面1、cpu 2-16个 2*4双四核,L1L2越大越好2、内存 越大越好3、磁盘 SAS或者固态 300G*12磁盘越多IO越高 raid 0>10>5>14、网卡 千兆5、slave的配置最好大于等于master二:系统层面net.ipv4.tcp_fin_time...
2016-07-05 17:52:00
156
转载 MySQL存储引擎InnoDB与Myisam
InnoDB与Myisam的六大区别InnoDB与Myisam的六大区别MyISAMInnoDB构成上的区别:每个MyISAM在磁盘上存储成三个文件。第一个 文件的名字以表的名字开始,扩展名指出文件类型。.frm文件存储表定义。数据文件的扩 展名为.MYD (MYData)。索引文件的扩 展名是.MYI (MYIndex)。基于磁盘的资源是InnoDB表空间数据文件和它的日志文件,Inn...
2016-07-05 16:52:00
237
转载 Redis主从复制
Redis主从复制的配置十分简单,它可以使从服务器是主服务器的完全拷贝。下面是关于Redis主从复制的几点重要内容:Redis使用异步复制。但从Redis 2.8开始,从服务器会周期性的应答从复制流中处理的数据量。一个主服务器可以有多个从服务器。从服务器也可以接受其他从服务器的连接。除了多个从服务器连接到一个主服务器之外,多个从服务器也可以连接到一个从服务器上,形成一个图...
2016-07-01 16:10:00
81
转载 Redis--持久化
Redis持久化RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照(point-in-time snapshot)。AOF 持久化记录服务器执行的所有写操作命令,并在服务器启动时,通过重新执行这些命令来还原数据集。 AOF 文件中的命令全部以 Redis 协议的格式来保存,新命令会被追加到文件的末尾。 Redis 还可以在后台对 AOF 文件进行重写(r...
2016-07-01 16:10:00
70
转载 Redis 请求应答模式和往返延时 Pipelining
Redis是一个CS结构的TCP服务器,使用”请求-应答”的模式。,客户端发起一个请求是这样的步骤:客户端发送一个请求给服务器,然后等待服务器的响应,一般客户端使用阻塞模式来等待服务器响应。服务器收到请求并处理完毕后,发送结果给客户端。 举个例子,发送下面4个命令大概就是这样的顺序:客户端发送:INCR X服务器响应:1客户端发送:INC...
2016-07-01 16:10:00
194
转载 Redis Cluster 3.0搭建与使用
Redis Cluster终于出了Stable,这让人很是激动,等Stable很久了,所以还是先玩玩。一. 集群简单概念。Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施(installation)。Redis 集群不支持那些需要同时处理多个键的 Redis 命令, 因为执行这些命令需要在多个 Redis 节点之间移动数据, 并且在高负载的情况下, 这...
2016-07-01 16:09:00
57
转载 Redis集群
Redis集群 101redis集群在启动的时候就自动在多个节点间分好片。同时提供了分片之间的可用性:当一部分redis节点故障或网络中断,集群也能继续工作。但是,当大面积的节点故障或网络中断(比如大部分的主节点都不可用了),集群就不能使用。所以,从实用性的角度,Redis集群提供以下功能:自动把数据切分到多个redis节点中当一部分节点挂了或不可达,集群依然能继续工...
2016-07-01 16:09:00
81
转载 自动化运维
现在搞啥都要自动化,除了妹子。那咱们今天就来聊聊运维的自动化,应该有哪些是可以做的。要想富先修路,一个成功的男人背后肯定有一个了不起的女人。那么要想实现自动化我们首先要修标准化这条路。运维标准化标准化的过程:规范化========>流程化========> 文档化目标:文档化物理设备层面:ps:这里针对的是IDC,或者说自建机房。1.服务器标签化、设备负责人、设备采购详情、设...
2016-07-01 16:08:00
106
转载 对象存储比较
CephMooseFS(MFS)GlusterFSLustreMetadata server单个MDS。存在单点故障和瓶颈。多个MDS,不存在单点故障和瓶颈。MDS可以扩展,不存在瓶颈。无,不存在单点故障。靠运行在各个节点上的动态算法来代替MDS,不需同步元数据,无硬盘I/O瓶颈。双MDS(互相备份)。MDS不可以扩展,存在瓶颈。FUSE支持支持支持支持访问接口POSIXPOSIXPOS...
2016-07-01 16:08:00
279
转载 CGroup 介绍、应用实例及原理描述
CGroup 介绍CGroup 是 Control Groups 的缩写,是 Linux 内核提供的一种可以限制、记录、隔离进程组 (process groups) 所使用的物力资源 (如 cpu memory i/o 等等) 的机制。2007 年进入 Linux 2.6.24 内核,CGroups 不是全新创造的,它将进程管理从 cpuset 中剥离出来,作者是 Google 的 Pa...
2016-07-01 16:08:00
1060
转载 定制安全的PHP环境
除了熟悉各种PHP漏洞外,还可以通过配置php.ini来加固PHP的运行环境。PHP官方也曾经多次修改php.ini的默认设置。在本书中,推荐php.ini中一些安全相关参数的配置。register_globals当register_globals = ON时,PHP不知道变量从何而来,也容易出现一些变量覆盖的问题。因此从最佳实践的角度,强烈建议设置register_globals =...
2016-07-01 16:07:00
127
转载 Cobbler
Cobbler简介 Cobbler是一个快速网络安装linux的服务,而且在经过调整也可以支持网络安装windows。该工具使用python开发,小巧轻便(才15k行python代码),使用简单的命令即可完成PXE网络安装环境的配置,同时还可以管理DHCP、DNS、TFTP、RSYNC以及yum仓库、构造系统ISO镜像。 Cobbler支持命令行管理,we...
2016-07-01 16:00:00
78
转载 双主双写、只备份某些表且要在建表ID自增
先展示下最终实现的配置主1的配置(重要的,其他略)log-bin = mysql-bin #必须要有binlogauto_increment_offset = 1 #自增ID的初始值auto_increment_increment = 2 #自增ID的步长(每次自动增加的数)server-id=1 #server-id 主库从库要不同 replicate-d...
2016-05-19 22:19:00
119
转载 我的系统资源呢?php-fpm你知道吗?
1:别的先不管咱们top一下。看看咱们的cpu ram swap的使用情况由上图分析,可以看出共有602个进程,其中有601个进程休眠了。这好像有点不对劲,内核进程也就80个左右,加上memcached, nginx, mysqld,也不会超出90个。除了这些,剩下的只有php-fpm管理的php-cgi,难道是…?CPU显示,CPU压力并不大,可以说没有压力。我们再看内存使用概要,发现...
2016-05-19 22:19:00
66
转载 apache常用的两种工作模式 prefork和worker
apache作为现今web服务器用的最广泛也是最稳定的开源服务器软件,其工作模式有许多中,目前主要有两种模式:prefork模式和worker模式一、两种模式prefork模式: prefork是Unix平台上的默认(缺省)MPM,使用多个子进程,每个子进程只有一个线程。每个进程在某个确定的时间只能维持一个连接,效率高,但内存占用量比较大。 这个多路处理模块(MPM)实现了一...
2016-05-19 22:18:00
126
转载 Git(未完待续)
Git的历史咱们就不多说来,我还是喜欢直白点,直接来干货吧在Linux上安装Git不同的系统不同的安装命令,基础的就不说来,centos直接yum就ok。安装完成后,还需要最后一步设置,在命令行输入:```git config --global user.email "you@example.com"git config --global user.name "Your Name"```...
2016-05-19 22:18:00
170
转载 Binlog的三种模式
binlog模式分三种(row,statement,mixed)1.Row日志中会记录成每一行数据被修改的形式,然后在slave端再对相同的数据进行修改,只记录要修改的数据,只有value,不会有sql多表关联的情况。优点:在row模式下,bin-log中可以不记录执行的sql语句的上下文相关的信息,仅仅只需要记录那一条记录被修改了,修改成什么样了,所以row的日志内容会非常清楚的记录下...
2016-05-19 22:17:00
111
转载 Tomcat
相关名次:JDK java开发工具包JRE java运行环境SDK 对开发应用的工具包J2EE 提供企业版的开发类库J2SE 提供标准版的开发类库J2ME 提供手机版的开发类库运行java服务的中间件:tomcat、resin、jbos、webloglc、websphere使用saltstack来部署tomcatmaste...
2016-05-19 22:16:00
87
转载 JVM初识、调优
JVM是按照运行时数据的存储结构来划分内存结构的,JVM在运行java时,将他们划分成几种不同格式的数据,分别存储在不同的区域,这些数据统一称为运行时数据,运行时数据包括java程序本身的数据信息和JVM运行java需要的额外的数据信息。JMM要理解JVM运行时数据区程序计数器--------线程私有java虚拟机栈------线程私有本地方法栈--------线程私有Jav堆-----...
2016-04-28 16:40:00
100
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人