记录创业路上的一些想法

转载 从史上八大MySQL事故中学到的经验

本文列举了史上八大MySQL宕机事件原因、影响以及人们从中学到的经验，文中用地震级数来类比宕机事件的严重性和后果，排在最严重层级前两位的是由于亚马逊AWS宕机故障(相当于地震十级和九级)。一、Percona网站宕机事件震级：3 发生时长：2011年7月11日 持续时长：数日 地点：加州Pleasanton(幸福屯) 宕机原因：Percona网站主服务器上的3块硬盘损坏，同时因为人员变更，导致未能如

原创 【人在运维囧途_13】由LDAP服务器无法登陆来谈谈分析问题的思路

今天监控报障，LDAP某个机房部分机器无法登陆    过去看了一下，总结一下思考路径：        ㈠ 定位问题、确定问题范围              LDAP无法登陆，本地账户可以登陆，说明ssh认证本身ok，应该是LDAP服务器连接有问题       strace id xx，的确连接LDAP服务器报错       telnet LDAP服务器端口不通       同一机房里面部分正常服务

原创 深入理解 Oracle 分区（3）：分区表和分区索引概述

㈠ 分区表技术概述            ⑴ Range 分区            ① 例子                  create table t         （...列定义...）         partition by range （week_num）         （partition p1 values less than （4）tablespace data0,

原创 深入理解 Oracle 分区（2）：分区方案中常见问题探讨

分区方案设计和实施是一门追求综合平衡、充满辩证统一的哲学、   也是经验和技术不断积累的艺术   然而、实际项目中、却漏洞频出、导致海量数据顷刻坍塌      ㈠ 目标方面的误区            ① 问题分析                  在很多分区设计方案、其指导思想往往只考虑部分目标         特别是过分在意设计对性能的需求         而对分区在数据生命周期、数据备份恢复

原创 深入理解 Oracle 分区（1）：如何实施和评估分区

虽然本博文旨在引导大家生产环境如何建立分区   但千万别被一些所谓的设计指南、特别是一些绝对值建议而把自己作茧自缚   生产环境当慎独！   不过、照葫芦画瓢、总比没葫芦乱画一通要强吧      那么、我们从分区索引和分区表来展开      ㈠ 分区索引的设计指南            ① 如果表分区字段正好是索引字段或者其前缀、例如：t表分区字段是a、           则a正好是索引字段（a

原创 配置 CACTI 监控 MySQL 数据库状态

MySQL 自身在性能监测方面很不给力、这是令许多 MySQL DBA 夜夜辗转难眠、   幸运的是、通过 Cacti 监测（注意是监测而非监控）MySQL 数据库状态   借助 cacti+rrdtool 强大的绘图功能、加上专用的 mysql 模板、能够灵活快速的创建对多个 MySQL 实例的监测   ㈠ 如果是RPM方式安装，需要下列RPM包：          httpd

原创 【人在运维囧途_12】Spotlight on Unix 让运维平添几缕幽香

Spotlight On Unix 不仅能满足操作系统的一些监控需求、而且其界面一如Spotlight On Oracle一样华丽，让人赏心悦目       1、安装spotlight，Spotlight on Unix      2、配置spotlight，注意spotlight默认不能使用root用户进行连接，需要用户自己创建一个具有root权限的用户。      （1）useradd spo

原创 深入理解Oracle索引(10)：索引列字符类型统计信息的32位限制

㈠ 先看两个来自生产环境的真实案例：                   案例1          案例2     ㈡ 原理：          Oracle 在对于 varchar等字符型字段收集统计信息时，并不会对每个值都进行精确的统计     而是，对值进行substr(,32)。一般来讲，这种方式没有什么问题     但是，如果恰巧列中存储的数据，前32bytes相同，那么，Oracle

原创 最简单的查询表空间的使用量、剩余量的方法

比起用其它的视图写长长的一段脚本、简便多了、据说从7.x到11g都可以用     sm$ts_used     &    sm$ts_freeidle> select * from sm$ts_used;TABLESPACE_NAME BYTES------------------------------ ----------SYSAUX

原创 【人在运维囧途_11】GNU/Linux NFS 服务器部署时权限设置的注意事项

NFS、简言之、便是文件服务器   在部署过程中、文件的读写权限是比教容易出错   本博文按以下 6 个方面展开、但重点放在文件权限上、      ● 原理   ● /etc/exports   ● 文件权限   ● Server/Client 配置   ● 2 个常用命令   ● Troubleshoting   ● 经验建议      ㈠ 原理            所谓一图胜千言、有图有真相

原创 CNU/Linux 用户管理【UID和GID】的一些笔记

① 用户能做什么仅仅取决于其UID和GID          ② 文件权限涉及 3 类用户：          ● owner          ● group          ● other             ③ 管理用户的文件有 3 个：          ● /etc/passwd：有7个字段、NO.3是UID NO.4是GID、任何用户均可访问          ● /etc/sh

原创 mysqldump：常用操作、案例分享、意外终止的原因以及解决方法

㈠ 常用操作    ① 备份全库          语法：     mysqldump -h主机名  -P端口 -u用户名 -p密码 (–database) 数据库名 > 文件名.sql     例子：     mysqldump -hlocalhost -P3306 -urocky -p123456 db_test > bakfile1.sql       ② 带删除表的全库备份

原创 深入理解Oracle索引(9)：不要过分依赖 HINT

很多应用开发人员、特别是技术大拿、喜欢通过 HINT 强制Oracle CBO按自己的意志选择执行计划   Rocky 窃以为、这种策略在某种程度上其实是把双刃剑   使用 Hint 指定 Index 的时候需要慎重、如果不合适或者无效、可能画蛇添足、效率更低      摘自官方文档：If the INDEX hint specifies no indexes, then the optimize

原创 【体系结构】MySQL 日志文件--二进制日志：Binary Log & Binary Log Index

先找到这两个文件、Rocky@localhost> show variables like 'datadir';+---------------+-------------------------+| Variable_name | Value |+---------------+-------------------------+| datadir

原创 简单理解一下 cache 和 buffer

在 Oracle 和 MySQL 学习过程中、经常遇到这两个概念   今天特意查了一下、理解上比较简单、记录在此、以备忘记   ㈠ cache      cache, 是用来加速读取的一种方法。目的是加速读取   物理上，有cpu管理的L1 cache, L2 cache  和 memory里的cache   对于cache的访问， 分为cache hit or cache miss   通常ca

原创 深入理解Oracle索引(8)：如何进行索引监控分析和优化

在生产环境、我们会发现：     ① 索引表空间 I/O 非常高     ② "db file sequential read" 等待事件也比较高   这种迹象表明、整个数据库系统、索引的读写操作比较多、已经成为系统的主要瓶颈      一般的原因、大抵如下：   ① 大量SQL均采用索引   ② DML操作导致索引维护工作量暴增   ③ 频繁DML导致很多索引碎片、增加I/O开销   ④ 索引建

原创 【人在运维囧途_09】秒删海量数据文件的方法

此篇是人在囧途之运维的 NO.9 了、更新实在太慢鸟、愧疚、、     在运维的工作中、有时我们需要去删除大文件、或者 N (N 取正无穷哟~~)多小文件     那么、rm 次奥咯、     这里、Rocky 介绍 Linux 史上最可爱、最温柔、最成熟、最善良、最.....槽糕、找不到形容词、囧     那便是 rsync 的另外一种用法                          ①

原创 【人在运维囧途_08】淘宝内部大量使用的开源系统监控工具--Tsar

Tsar是淘宝开发的一个非常好用的系统监控工具，在淘宝内部大量使用   它不仅可以监控CPU、IO、内存、TCP等系统状态，也可以监控Apache，Nginx/Tengine，Squid等服务器状态   值得一提的是、Tsar 支持将数据存储到 MySQL 中，也可以将数据发送到 Nagios 报警服务器      ㈠ 部署            ① tsar由于定时采集数据，需要crond服务正

原创 【程序员练级】提高英语阅读水平经验分享上篇

作为一名程序员，虽说每天都在和英语打交道  但是当看到一篇英语文档或者英语技术文章的时候还是比较头疼  尤其是使用Google搜索的时候，很多问题解决办法都是英文的  还有一些国外比较有名的网站比如 stack overflow、上面也有很多学习的资源  怎样才能让自己顺利阅读这些技术文章呢？    作为程序员，英语阅读能力是最基本的素养  如果程序员缺乏英语阅读能力，这将是你非常大的一块短板，如

原创 【体系结构】MySQL 日志文件--慢查询日志

顾名思义，慢查询日志中记录的是执行时间较长的 query   可以设一个阀值、将运行时间超过该值的所有SQL语句都记录到慢查询日志文件中   该阀值可以通过参数long_query_time来设置、默认是10秒   这里需要一点、对于运行时间正好等于long_query_time的情况、并不会被记录   因为、在源代码里是判断大于long_query_time、而非大于等于mysql> show

原创 【体系结构】MySQL 日志文件--错误日志

㈠ 是什么？              记录MySQL Server 启动和关闭的详细信息、以及运行过程中较为严重的警告和错误信息mysql> show variables like 'log_error';+---------------+---------------------------------+| Variable_name | Value

原创 RMAN 性能优化全攻略

㈠ 发现问题      RMAN在做备份、恢复时所做的操作说起来很简单：   就是把数据从“源”读到缓冲区，然后自读缓冲区写到“目的地”、并在这个过程中完成数据块的校验工作   这一过程中会发生很多的操作、而如果某一操作慢了我们则称其为瓶颈   发现问题的关键在于挑出这个瓶颈      ① 确定备份源与备份设备的最大速度         从磁盘读的速度和磁带写的带度、备份的速度不可能超出这两个速度

原创 MySQL 5.5 三大安装方式：【二进制、源代码编译 和 RPM 包】 安装步骤及优缺点比较

㈠ 源代码编译                        ① 安装 cmake # wget http://www.cmake.org/files/v2.8/cmake-2.8.5.tar.gz # tar -zxv -f cmake-2.8.5.tar.gz -C /usr/local/src # cd /usr/local/src/cmake-2.8.5

原创 使用 pt-stalk 诊断 MySQL 问题

pt-stalk 适用场景：      ① MySQL Server 性能波动出现的频率很低、例如、几天一次   ② MySQL Server 性能波动出现的机率很快、例如、几秒闪过      ㈠ 安装      ① 下载         http://www.percona.com/downloads/percona-toolkit/LATEST/            ② 问题

原创 【人在运维囧途_07】GNU/Linux 系统资源监控神器--collectl【重点推荐】

对系统资源的监控、是运维人员的一个必备的技能     从 OS 角度讲、包括 CPU/IO/Network/FS 等     从 DB 角度讲，包括 Active Sessions/ON CPU/Disks/Top Segments/Top SQL 等等     而 DB 对资源的利用也反映在 OS 一级上，对 OS 计算资源的充分均衡利用是我们的目标          众多监控工具中、colle

原创 AWR 分析 ：独上高楼，望见 AWR 路

Automatic Workload Repository 是 10g 引入的一个重要组件     存贮着近期一段时间内数据库活动状态的详细信息、信息保留默认是7天     AWR 的前身是 Statspack、而 Statspack 是公开源代码的     因此，关于Statspack的资料，还有Statspack的源代码，都是理解AWR的一个有用的辅助          AWR 者、乃 sys

原创 用 NetHogs 监控 Linux 每个进程的网络使用情况

㈠ 下载                   nethogs-0.8.0.tar.gz            安装之前、可能需要先 yum install ncurses*             ㈡ 作用                 有别于其他统计和监控网卡流量、NetHogs 有点特别、可以监控每个进程的网络带宽占用情况          ㈢ 使用               该程序需要

原创 个性化设置 MySQL prompt 提示符

下面谈 4 种方法               ㈠ 在 Bash 层修改 MYSQL_PS1 变量[root@localhost ~]# export MYSQL_PS1="(\u@\h) [\d]> "[root@localhost ~]# mysql -u root -pEnter password: Welcome to the MySQL monitor. Commands end

原创 批量杀死 MySQL 连接

下面简述 2 种方法          ㈠ 巧用 information_schema.processlistmysql> select concat('KILL ',id,';') from information_schema.processlist where user='root' into outfile '/tmp/killall.txt';mysql> source /tmp/k

原创 从安装开始谈 MySQL 安全

当你安装 MySQL 完后、会有个提示：[root@localhost Desktop]# rpm -ivh MySQL-server-5.5.28-1.rhel5.i386.rpmPreparing...                ########################################### [100%]   1:MySQL-server           ###

原创 RMAN Compressed Backupset

先看一段官方文档的解释：There is some CPU overhead associated with compressing backup sets. If the database being backed up is running at or near its maximum load, you may find the overhead from using AS COMPRESS

原创 RMAN delete expired & delete obsolete

先看官方文档解释：            delete exipiredIf you run CROSSCHECK, and if RMAN cannot locate the files, then it updates their records in the RMAN repository to EXPIRED status. You can then use the DELETE EXPI

原创 调整 Xen 虚拟硬盘大小

㈠ 调整之前：               df -h               ㈡ 关闭 DomU               xm shutdown vm01          ㈢ 给虚拟机镜像文件追加 2G 空间                  dd if=/dev/zero bs=1024k count=2048 >> /var/lib/xen/images/vm01.img

原创 Xen Dom0 下判断 DomU 的磁盘使用率

从 xentop 大致可知：CPU%、MEM%、网络、I/O...等     但对于 DomU 磁盘的使用、如：     用了多少 inode、多少空间，还剩多少，是否快爆满、是否应该通知客户升级 Xen 硬盘     这些 xentop 就心有余而力不足啦     [root@Rocky ~]# xentop          这里使用 dumpe2fs 为您排除忧愁哦     虽然不是特别准确

原创 VMware 安装 redhat 关键步骤和注意事项

原创 GNU/Linux 下寻找占用硬盘的大文件

㈠ 从根目录查找大于50MB的文件，并按大小列表显示前10个：[root@Rocky ~]# find / -printf "%k %p\n"|sort -g -k 1,1|\awk '{if($1>50000) print $1/1024 "MB" " " $2}'|tail -n 10111.968MB /mnt/hgfs/vmshare/Disk1/oms/Disk1/stage/Com

原创 DEBUG (blkif:27) exception looking up device number for xvda: [Errno 2] No such file or directory: '

在 RHEL-5.8 安装 XEN 时报错如下：ERROR POST操作失败: xend_post：来自 xen 守护进程的错误：(xend.err 'Device 0 (vif) could not be connected. Hotplug scripts not working.')域安装似乎没有成功。如果是这样，您可以运行 'virsh start vm02' 重启您的域，否则

原创 WARNING (XendDomainInfo:262) No vm path in store for existing domain 0

在 RHEL-5.8 安装 XEN 时报错如下：ERROR POST操作失败: xend_post：来自 xen 守护进程的错误：(xend.err 'Device 0 (vif) could not be connected. Hotplug scripts not working.')域安装似乎没有成功。如果是这样，您可以运行 'virsh start vm02' 重启您的域，否则

原创 RMAN Recovery Window retention policy tips

Assume the following retention policy illustrated in Figure rw01.    The retention policy has the following aspects:      ■ The recovery window is 7 days.   ■ Database backups are scheduled every two

原创 Image Copy Incremental Updates（ICIU）:concepts

㈠ 作用                限制 Redo 的运用量、从而降低恢复时间             ㈡ 原理                创建数据文件的镜像拷贝、随后用增量备份集更新镜像拷贝        即：把 1 级增量备份集并入已存在的镜像拷贝中             ㈢ 测试                ① 脚本RMAN> run { 2> recover copy of