- 博客(17)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 用ElasticSearch,LogStash,Kibana搭建实时日志收集系统
介绍这套系统，logstash负责收集处理日志文件内容存储到elasticsearch搜索引擎数据库中。kibana负责查询elasticsearch并在web中展示。logstash收集进程收获日志文件内容后，先输出到redis中缓存，另一logstash处理进程从redis中读出并转存到elasticsearch中，以解决读快写慢速度不一致问题。
2015-06-30 12:20:21
4992
1
转载 使用 Redis 实现分布式系统轻量级协调技术
在分布式系统中，各个进程（本文使用进程来描述分布式系统中的运行主体，它们可以在同一个物理节点上也可以在不同的物理节点上）相互之间通常是需要协调进行运作的，有时是不同进程所处理的数据有依赖关系，必须按照一定的次序进行处理，有时是在一些特定的时间需要某个进程处理某些事务等等，人们通常会使用分布式锁、选举算法等技术来协调各个进程之间的行为。因为分布式系统本身的复杂特性，以及对于容错性的要求，这些技术通常
2015-06-23 14:18:08
1713
转载 一种基于“哨兵”的分布式缓存设计
14年双11大促缓存方案，今天有点闲暇时间，回顾一下当时的思路。场景介绍：大促活动下，对于某些产品进行整点秒杀活动。预计流量是平时峰值5+倍。商品计算逻辑比较复杂：某个最终展示的商品属性和价格，可能需要上亿次动态条件计算获得，动态条件每时每刻都在变化，并且商品的库存属性属于行业共有库存，每时每刻都在变化。计算模型：前端机并发去后端获取实时计算数据，然后合并结果，根据用户信息给商品打
2015-06-23 13:09:47
2013
1
转载 replace into导致mysql自增列导致主键重复问题分析
前几天开发童鞋反馈一个利用load data infile命令导入数据主键冲突的问题，分析后确定这个问题可能是mysql的一个bug，这里提出来给大家分享下。以免以后有童鞋遇到类似问题百思不得其解，难以入眠，哈哈。废话少说，进入正题。 拿到问题后，首先查看现场，发现问题表的中记录的最大值比自增列的值要大，那么很明显，当有记录进行插入时，自增列产生的值就有可能与已有的记录主键冲突，导
2015-06-13 22:32:34
7640
转载 replace into 浅析之二
一 介绍 上一篇文章介绍了replace into的基本原理。本章内容通过一个例子说明 replace into 带来的潜在的数据质量风险,当涉及replace into操作的表含有自增主键时,主备切换后会造成数据覆盖等不一致的情况发生。二 案例分析在主库上操作root@test 12:36:51>show create table t1 \G******
2015-06-10 10:55:35
2088
转载 replace into 浅析之一
一 介绍 在笔者支持业务过程中，经常遇到开发咨询replace into 的使用场景以及注意事项，这里做个总结。从功能原理，性能和注意事项上做个说明。二 原理2.1 当表中存在主键但是不存在唯一建的时候。表结构CREATE TABLE `yy` ( `id` bigint(20) NOT NULL, `name` varchar(20) D
2015-06-10 10:54:46
1906
1
原创 用sersync工具来实现目录文件的同步
前面一篇文章我们写了用rsync+inotify-tools来实现同步目录文件。 这一篇我们讲用sersync工具来实现目录文件的同步，该工具只更新变更的文件，不需要象rsync那样对目录做比较，具体介绍我不多说了，自己搜索就行了。
2015-06-09 12:59:06
2678
原创 inotify-tools时实调用rsync同步文件
下载inotify-toolshttp://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gzinotify-tools时实调用rsync同步文件#!/bin/shhost1=172.16.18.116host2=172.16.18.226src=/home/jfy/tmptmp des=/home/jf
2015-06-08 18:05:43
1968
原创 为mysql master主机新建一slave并监控slave一致性
搭建环境master：172.16.18.114，正式服务器，mysql运行中 现要为master新建一slave，172.16.18.165，并监控其延迟
2015-06-08 11:30:20
1583
原创 PHP获取POST数据的三种方法
方法一，$_POST方法二，使用file_get_contents(“php://input”)方法三，使用全局变量$GLOBALS['HTTP_RAW_POST_DATA']
2015-06-01 18:16:57
6336
转载 mysql in 子查询 效率慢 优化
现在的CMS系统、博客系统、BBS等都喜欢使用标签tag作交叉链接，因此我也尝鲜用了下。但用了后发现我想查询某个tag的文章列表时速度很慢，达到5秒之久！百思不解(后来终于解决)，我的表结构是下面这样的，文章只有690篇。文章表article(id,title,content)标签表tag(tid,tag_name)标签文章中间表article_tag(id,tag_id,arti
2015-06-01 16:30:43
3251
转载 MYSQL校对规则
一、前言有时候遇到这种情况，你用一个like语句查询，查到的结果中有一些并没有包含你查询的关键词的纪录；有时候遇到这种情况，你的数据库自作聪明的大小写不敏感，让你在更新时把大小写不同的两条记录都更新了；有时候遇到这种情况，你的查询语句一切正常，查询却失败了，报告Illegal mix of collations错误；你很困惑，在想数据库是不是坏了。。。其实 ，这些都和数据库
2015-06-01 15:12:30
2265
转载 MySQL5.6新特性之Index Condition Pushdown
一 概念介绍 Index Condition Pushdown (ICP)是MySQL 5.6 版本中的新特性,是一种在存储引擎层使用索引过滤数据的一种优化方式。a 当关闭ICP时,index 仅仅是data access 的一种访问方式，存储引擎通过索引回表获取的数据会传递到MySQL Server 层进行where条件过滤。b 当打开ICP时,如果部分where条件能使用
2015-06-01 11:32:09
1091
原创 MySQL使用中遇到的问题及日常操作累积（持续更新）
MySQL使用中遇到的问题及日常操作累积（持续更新）[TOC]20150601：slave_net_timeout 问题一则在一个已经建立主从复制关系的系统里面,正常情况下,由从库向主库发送一个 COM_BINLOG_DUMP 命令后,主库有新的binlog event，会向备库发送binlog。 但是如果主库长时间(大于slave_net_timeout)没有向从库发送binlog，从库就会认为
2015-06-01 11:20:14
1601
转载 MySQL5.7版本 Semisync Replication 增强
原文地址：http://blog.itpub.net/22664653/viewspace-1183057/一 前言前文 介绍了5.5/5.6 版本的MySQL semi sync 基础原理和配置，随着MySQL 5.7 的发布，新版本的MySQL修复了semi sync 的一些bug 并且增强了功能。支持发送binlog和接受ack的异
2015-06-01 11:00:10
1963
转载 MySQL性能优化之 延迟关联
【背景】 某业务数据库load 报警异常，cpu usr 达到30-40 ，居高不下。使用工具查看数据库正在执行的sql ，排在前面的大部分是：SELECT id, cu_id, name, info, biz_type, gmt_create, gmt_modified,start_time, end_time, market_type, back_leaf_categ
2015-06-01 10:52:19
2103
转载 利用innodb_force_recovery 解决MySQL服务器crash无法重启问题
一 背景 某一创业的朋友的主机因为磁盘阵列损坏机器crash,重启MySQL服务时 报如下错误:InnoDB: Reading tablespace information from the .ibd files...InnoDB: Restoring possible half-written data pages from the doublewrite
2015-06-01 10:37:03
1376
php_client_for_mysql_binlog 源代码包
2017-05-16
阿里cobar中间件文档集合
2014-04-29
高性能MySQL 第三版读书笔记 一至六
2013-11-19
MYSQL学习资料
2013-11-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人