- 博客(77)
- 收藏
- 关注
RSS订阅转载 ELK之消息队列选择redis_kafka_rabbitmq
前言描述生产初级，Service服务较少，访问量较少，随着业务量的不断增加，日志量成倍增长，然后就遇到了消息队列redis被充爆，不能满足应用的情况。针对此情况，我们来分析下可用的消息多列。官方推荐消息队列redis、kafka、rabbitmq。我们现在针对这三种进行比较。从消息订阅模式比较Redisredis是基于内存的应用，消息都存放...
2018-02-05 14:25:00
359
转载 Python文件操作
对文件进行打包操作import osimport tarfile#压缩，创建.gz#创建压缩包名tar = tarfile.open('/tmp/tartest.tar.gz','w:gz')# 创建压缩包for root,dir,files in os.walk("/tmp/tartest"): print root print dir print ...
2018-01-27 13:50:00
166
转载 统计nginx日志的状态码
日志格式61.159.140.123 - - [23/Aug/2014:00:01:42 +0800] "GET /favicon.ico HTTP/1.1" 404 \ "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.3...
2018-01-27 13:49:00
786
转载 Redis Cluster机器内存充爆处理
机器配置系统：CentOS6.7 配置：4C8G 应用：Redis Cluster，实例化现象1、无法启动redis，启动后系统OOM，直接杀死 2、Redis: OOM command not allowed when used memory > ‘maxmemory’原因内存已满，不允许数据在写入 注： use...
2018-01-27 13:48:00
133
转载 JIRA部署破解和confluence整合
JIRA是一个项目跟踪管理工具，帮助团队创建计划任务、构建并发布优秀的产品。全球成千上万的团队选择JIRA，用JIRA来捕获、组织管理缺陷、分配任务，跟踪团队的活动。不论在桌面PC还是移动终端设备上，JIRA都能完美的运行，帮助团队完成工作。1. 环境准备CentOS 6.5 java jdk 1.8 mysql-server 5.6 jira-6.3.6.t...
2018-01-27 13:35:00
862
转载 rsyslog
Rsyslog简介rsyslog是一个开源工具，被广泛用于Linux系统以通过TCP/UDP协议转发或接收日志消息。rsyslog守护进程可以被配置成两种环境，一种是配置成日志收集服务器，rsyslog进程可以从网络中收集其它主机上的日志数据，这些主机会将日志配置为发送到另外的远程服务器。rsyslog的另外一个用法，就是可以配置为客户端，用来过滤和发送内部日志消息到本地文件夹（...
2018-01-27 13:35:00
93
转载 Kafka与Logstash的数据采集对接
Logstash工作原理由于Kafka采用解耦的设计思想，并非原始的发布订阅，生产者负责产生消息，直接推送给消费者。而是在中间加入持久化层——broker,生产者把数据存放在broker中，消费者从broker中取数据。这样就带来了几个好处:： 1 生产者的负载与消费者的负载解耦 2 消费者按照自己的能力fetch数据 3 消费者可以自定义消费的数量 由于brok...
2018-01-27 13:32:00
433
转载 confluence
ConfluenceConfluence是一个专业的wiki程序。它是一个知识管理的工具，通过它可以实现团队成员之间的协作和知识共享。 Confluence不是一个开源软件，非商业用途可以免费使用。 Confluence使用简单，但它强大的编辑和站点管理特征能够帮助团队成员之间共享信息，文档协作，集体讨论。1. 环境准备CentOS6.5 JAVA 1...
2016-12-29 14:59:00
246
转载 Memcache 监控
本文介绍zabbix、nagios、cacti对Memcache的监控一：zabbix企业应用之固定端口监控memcache一、在客户端1、到/usr/loca/zabbix/conf/zabbix_agentd.conf里添加UserParameter=memcached_stats[*],(echo stats; sleep 1) | telnet 127.0.0.1 $1 2>...
2016-07-28 17:25:00
70
转载 Memcache 优化建议
一、memcached工作原理基本概念：slab，page，chunk。slab，是一个逻辑概念。它是在启动memcached实例的时候预处理好的，每个slab对应一个chunk size，也就是说不同slab有不同的chunk size。具体分配多少个slab由参数 -f （增长因子）和 -n （chunk最小尺寸）决定的。page，可以理解为内存页。大小固定为1m。slab会在存储请...
2016-07-28 17:24:00
74
转载 Memcache CAS协议介绍及使用
1.什么是CAS所谓CAS，check and set，在写操作时，先检查是否被别的线程修改过。基本原理非常简单，一言以蔽之，就是“版本号”。每个存储的数据对象，多有一个版本号。我们可以从下面的例子来理解：如果不采用CAS，则有如下的情景：第一步，A取出数据对象X；第二步，B取出数据对象X；第三步，B修改数据对象X，并将其放入缓存；第四步，A修改数据对象X，并将其放入缓存。我们可以发现，...
2016-07-28 17:22:00
125
转载 Memcache的安装和使用
Memcache是高性能，分布式的内存对象缓存系统，用于在动态应用中减少数据库负载，提升访问速度。为了提高性能，memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中，因此重启memcached、重启操作系统会导致全部数据消失。另外，内容容量达到指定值之后，就基于LRU(Least Recently Used)算法自动删除不...
2016-07-28 17:22:00
59
转载 Memcache 分布式高可用集群介绍
分布式缓存需考虑如下三点：1、缓存本身的水平线性扩展的问题。2、缓存大病罚下的本身性能问题。3、避免缓存的单点鼓掌问题。分布式缓存存在的问题：1、内存本身的管理问题。内存的分配，管理和回收机制。2、分布式管理和分布式算法。3、缓存键值管理和路由。常见分布式算法 Memcached在实现分布集群部署时，Memcached服务端的之间是没有通讯的，服务端是伪分布式，实现分布式是...
2016-07-28 17:22:00
128
转载 Memcache介绍与应用场景
一：概念介绍 Memcache是一个高性能的分布式的内存对象缓存系统，通过在内存里维护一个统一的巨大的hash表，它能够用来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调用到内存中，然后从内存中读取，从而大大提高读取速度（即用于在动态应用中减少数据库负载，提升访问速度）。 Memcache是以守护进程方式运行于一个或多个服...
2016-07-28 17:21:00
144
转载 Memcache 服务管理脚本
自定义脚本将memcached作为系统服务启动以及开机启动。一、编写脚本在/etc/init.d/目录下新建一个脚本，名称为：memcached。内容如下：vi /etc/init.d/memcached#!/bin/bash #description: Memcached Service Daemon #processname: Memcached #chkconfig: 2...
2016-07-28 17:21:00
67
转载 CentOS7无法使用tab补全功能？？
Centos7在使用最小化安装的时候，没有安装自动补全的包，需要自己手动安装。yum -y install bash-completion或者你可以安装一些初始化的包组yum -y groupinstall Base Compatibility libraries Debugging Tools Dial-up Networking suppport Hardware monitorin...
2016-07-28 17:15:00
111
转载 分布式服务框架 Zookeeper -- 管理分布式环境中的数据
介绍 Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义，以及分析 Zookeeper 的典型的应用场景（配置文件的管理、集群管理、同步锁、...
2016-07-28 17:14:00
79
转载 Zabbix通过percona监控MySQL
因为Zabbix自带的MySQL监控没有提供可以直接使用的Key，所以一般不采用，业界的同学们都使用Percona Monitoring Plugins 监控 MySQL的方式Percona介绍Percona 为 MySQL 数据库服务器进行了改进，在功能和性能上较 MySQL 有着很显著的提升。该版本提升了在高负载情况下的 InnoDB 的性能、为 DBA 提供一些非常有用的性...
2016-07-26 12:01:00
150
转载 Logrotate还有谁记得它？？
我发现很多人的服务器上都运行着一些诸如每天切分Nginx日志之类的CRON脚本，大家似乎遗忘了Logrotate，争相发明自己的轮子，这真是让人沮丧啊！就好比明明身边躺着现成的性感美女，大家却忙着自娱自乐，罪过！Logrotate的介绍logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除，并创建新的日志文件，我们把它叫做“转储”。我们可以根据日志文件的大小，也可以根据其...
2016-07-20 15:14:00
70
转载 Installing Percona XtraDB Cluster on CentOS
PXC简介Percona XtraDB Cluster（简称PXC集群）提供了MySQL高可用的一种实现方法。1.集群是有节点组成的，推荐配置至少3个节点，但是也可以运行在2个节点上。2.每个节点都是普通的mysql/percona服务器，可以将现有的数据库服务器组成集群，反之，也可以将集群拆分成单独的服务器。3.每个节点都包含完整的数据副本。 PXC集群主要由两部分组成：Perc...
2016-07-05 18:05:00
68
转载 MySQL数据库优化
思想：一切优化从业务为出发点思路：建议：根据OSI7层模型，从下往上进行优化。一：物理层面1、cpu 2-16个 2＊4双四核，L1L2越大越好2、内存 越大越好3、磁盘 SAS或者固态 300G*12磁盘越多IO越高 raid 0>10>5>14、网卡 千兆5、slave的配置最好大于等于master二：系统层面net.ipv4.tcp_fin_time...
2016-07-05 17:52:00
156
转载 MySQL存储引擎InnoDB与Myisam
InnoDB与Myisam的六大区别InnoDB与Myisam的六大区别MyISAMInnoDB构成上的区别：每个MyISAM在磁盘上存储成三个文件。第一个 文件的名字以表的名字开始，扩展名指出文件类型。.frm文件存储表定义。数据文件的扩 展名为.MYD (MYData)。索引文件的扩 展名是.MYI (MYIndex)。基于磁盘的资源是InnoDB表空间数据文件和它的日志文件，Inn...
2016-07-05 16:52:00
237
转载 Redis主从复制
Redis主从复制的配置十分简单，它可以使从服务器是主服务器的完全拷贝。下面是关于Redis主从复制的几点重要内容：Redis使用异步复制。但从Redis 2.8开始，从服务器会周期性的应答从复制流中处理的数据量。一个主服务器可以有多个从服务器。从服务器也可以接受其他从服务器的连接。除了多个从服务器连接到一个主服务器之外，多个从服务器也可以连接到一个从服务器上，形成一个图...
2016-07-01 16:10:00
81
转载 Redis--持久化
Redis持久化RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）。AOF 持久化记录服务器执行的所有写操作命令，并在服务器启动时，通过重新执行这些命令来还原数据集。 AOF 文件中的命令全部以 Redis 协议的格式来保存，新命令会被追加到文件的末尾。 Redis 还可以在后台对 AOF 文件进行重写（r...
2016-07-01 16:10:00
70
转载 Redis 请求应答模式和往返延时 Pipelining
Redis是一个CS结构的TCP服务器，使用”请求-应答”的模式。，客户端发起一个请求是这样的步骤：客户端发送一个请求给服务器，然后等待服务器的响应，一般客户端使用阻塞模式来等待服务器响应。服务器收到请求并处理完毕后，发送结果给客户端。 举个例子，发送下面4个命令大概就是这样的顺序：客户端发送:INCR X服务器响应:1客户端发送:INC...
2016-07-01 16:10:00
194
转载 Redis Cluster 3.0搭建与使用
Redis Cluster终于出了Stable，这让人很是激动，等Stable很久了，所以还是先玩玩。一. 集群简单概念。Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施（installation）。Redis 集群不支持那些需要同时处理多个键的 Redis 命令， 因为执行这些命令需要在多个 Redis 节点之间移动数据， 并且在高负载的情况下， 这...
2016-07-01 16:09:00
57
转载 Redis集群
Redis集群 101redis集群在启动的时候就自动在多个节点间分好片。同时提供了分片之间的可用性：当一部分redis节点故障或网络中断，集群也能继续工作。但是，当大面积的节点故障或网络中断（比如大部分的主节点都不可用了），集群就不能使用。所以，从实用性的角度，Redis集群提供以下功能：自动把数据切分到多个redis节点中当一部分节点挂了或不可达，集群依然能继续工...
2016-07-01 16:09:00
81
转载 自动化运维
现在搞啥都要自动化，除了妹子。那咱们今天就来聊聊运维的自动化，应该有哪些是可以做的。要想富先修路，一个成功的男人背后肯定有一个了不起的女人。那么要想实现自动化我们首先要修标准化这条路。运维标准化标准化的过程：规范化========>流程化========> 文档化目标：文档化物理设备层面：ps：这里针对的是IDC，或者说自建机房。1.服务器标签化、设备负责人、设备采购详情、设...
2016-07-01 16:08:00
106
转载 对象存储比较
CephMooseFS(MFS)GlusterFSLustreMetadata server单个MDS。存在单点故障和瓶颈。多个MDS，不存在单点故障和瓶颈。MDS可以扩展，不存在瓶颈。无，不存在单点故障。靠运行在各个节点上的动态算法来代替MDS,不需同步元数据,无硬盘I/O瓶颈。双MDS(互相备份)。MDS不可以扩展，存在瓶颈。FUSE支持支持支持支持访问接口POSIXPOSIXPOS...
2016-07-01 16:08:00
279
转载 CGroup 介绍、应用实例及原理描述
CGroup 介绍CGroup 是 Control Groups 的缩写，是 Linux 内核提供的一种可以限制、记录、隔离进程组 (process groups) 所使用的物力资源 (如 cpu memory i/o 等等) 的机制。2007 年进入 Linux 2.6.24 内核，CGroups 不是全新创造的，它将进程管理从 cpuset 中剥离出来，作者是 Google 的 Pa...
2016-07-01 16:08:00
1060
转载 定制安全的PHP环境
除了熟悉各种PHP漏洞外，还可以通过配置php.ini来加固PHP的运行环境。PHP官方也曾经多次修改php.ini的默认设置。在本书中，推荐php.ini中一些安全相关参数的配置。register_globals当register_globals = ON时，PHP不知道变量从何而来，也容易出现一些变量覆盖的问题。因此从最佳实践的角度，强烈建议设置register_globals =...
2016-07-01 16:07:00
127
转载 Cobbler
Cobbler简介 Cobbler是一个快速网络安装linux的服务，而且在经过调整也可以支持网络安装windows。该工具使用python开发，小巧轻便（才15k行python代码），使用简单的命令即可完成PXE网络安装环境的配置，同时还可以管理DHCP、DNS、TFTP、RSYNC以及yum仓库、构造系统ISO镜像。 Cobbler支持命令行管理，we...
2016-07-01 16:00:00
78
转载 双主双写、只备份某些表且要在建表ID自增
先展示下最终实现的配置主1的配置(重要的，其他略)log-bin = mysql-bin #必须要有binlogauto_increment_offset = 1 #自增ID的初始值auto_increment_increment = 2 #自增ID的步长(每次自动增加的数)server-id=1 #server-id 主库从库要不同 replicate-d...
2016-05-19 22:19:00
119
转载 我的系统资源呢？php-fpm你知道吗？
1：别的先不管咱们top一下。看看咱们的cpu ram swap的使用情况由上图分析，可以看出共有602个进程，其中有601个进程休眠了。这好像有点不对劲，内核进程也就80个左右，加上memcached, nginx, mysqld，也不会超出90个。除了这些，剩下的只有php-fpm管理的php-cgi，难道是…？CPU显示，CPU压力并不大，可以说没有压力。我们再看内存使用概要，发现...
2016-05-19 22:19:00
66
转载 apache常用的两种工作模式 prefork和worker
apache作为现今web服务器用的最广泛也是最稳定的开源服务器软件，其工作模式有许多中，目前主要有两种模式：prefork模式和worker模式一、两种模式prefork模式： prefork是Unix平台上的默认（缺省）MPM，使用多个子进程，每个子进程只有一个线程。每个进程在某个确定的时间只能维持一个连接，效率高，但内存占用量比较大。 这个多路处理模块(MPM)实现了一...
2016-05-19 22:18:00
126
转载 Git（未完待续）
Git的历史咱们就不多说来，我还是喜欢直白点，直接来干货吧在Linux上安装Git不同的系统不同的安装命令，基础的就不说来，centos直接yum就ok。安装完成后，还需要最后一步设置，在命令行输入：```git config --global user.email "you@example.com"git config --global user.name "Your Name"```...
2016-05-19 22:18:00
170
转载 Binlog的三种模式
binlog模式分三种（row，statement，mixed）1.Row日志中会记录成每一行数据被修改的形式，然后在slave端再对相同的数据进行修改，只记录要修改的数据，只有value，不会有sql多表关联的情况。优点：在row模式下，bin-log中可以不记录执行的sql语句的上下文相关的信息，仅仅只需要记录那一条记录被修改了，修改成什么样了，所以row的日志内容会非常清楚的记录下...
2016-05-19 22:17:00
111
转载 Tomcat
相关名次：JDK java开发工具包JRE java运行环境SDK 对开发应用的工具包J2EE 提供企业版的开发类库J2SE 提供标准版的开发类库J2ME 提供手机版的开发类库运行java服务的中间件：tomcat、resin、jbos、webloglc、websphere使用saltstack来部署tomcatmaste...
2016-05-19 22:16:00
87
转载 JVM初识、调优
JVM是按照运行时数据的存储结构来划分内存结构的，JVM在运行java时，将他们划分成几种不同格式的数据，分别存储在不同的区域，这些数据统一称为运行时数据，运行时数据包括java程序本身的数据信息和JVM运行java需要的额外的数据信息。JMM要理解JVM运行时数据区程序计数器--------线程私有java虚拟机栈------线程私有本地方法栈--------线程私有Jav堆-----...
2016-04-28 16:40:00
100
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人