DBA日志小记-CSDN博客

转载 MongoDB的常规备份策略

MongoDB的备份其实算是一个基本操作，最近总是有人问起，看来很多人对这里还不太熟悉。为了避免一次又一次地重复解释，特总结成一篇博客供后来者查阅。如有不尽正确之处请指正。1. 内建方法1.1 复制数据库文件不用多做解释，几乎对任何数据库都有用，简单粗暴。但像多数数据库一样，这个操作必须在mongod实例停止的情况下进行才能保证你得到的是正确状态下的数据库。否则在备份过程中

2016-03-19 12:43:34 626

原创 install mysql

yum remove mysql*rm -rf /usr/lib64/mysql/ userdel mysqlgroupdel mysqlvim /etc/security/limits.d/90-nproc.conf * soft nproc 65535vim /etc/security/limits.conf* sof

2016-02-23 14:05:16 530

原创 install mysql

yum remove mysql*rm -rf /usr/lib64/mysql/ userdel mysqlgroupdel mysqlvim /etc/security/limits.d/90-nproc.conf * soft nproc 65535vim /etc/security/limits.conf* soft

2016-02-23 14:04:21 738

原创 install mangodb

vim /etc/security/limits.d/90-nproc.conf * soft nproc 65535vim /etc/security/limits.conf* soft core unlimited* hard core unlimited* soft nproc 65535* hard nproc 65535

2016-02-23 13:59:37 444

转载 child process failed, exited with error number 100

今天在启动mongodb的时候，发现起不来，报错：child process failed, exited with error number 100然后先去/var/log/mongo/mongod.log 查看启动的日志,发现： **************Unclean shutdown detected.Please visit http://dochub.mongod

2015-10-14 09:50:23 1360

转载 mysql 的thread pool

什么是thread poolMysql为一个客户端连接分配一个线程，然而频繁的连接请求会消耗大量的CPU资源，而线程池通过缓存并重用线程可有效解决这一问题；Thread pool plugin提供此功能，但其为商业版5.5.16所提供；功能1 重用thread stack，保证其一直位于cpu cache而不被踢出，可以更加高效的利用CPU cache；2 在mysq

2015-09-29 11:58:23 1145

转载 percona-toolkit工具包的使用教程

本文收集了percona-toolkit工具包中比较常用的工具集，写成教程，方便自己使用也共享出来方便大家学习。由于本人英文水平实在是不怎么样，加上最近比较忙所以教程写得匆忙，因此学习过程中难免会有不对的地方，如果大家发现有问题，请帮忙指出，谢谢！下面是我的博文中分别各个工具的使用的链接：percona-toolkit工具包的使用教程之介绍和安装http://blog.ch

2015-09-18 17:19:44 542

原创安装MongoDB配置ReplicaSet

MongoDB的环境主要包括StandAlone，Replication和Sharding。StandAlone：单机环境，一般开发测试的时候用。Replication：主从结构，一个Primary，多个Secondary，可能会有Arbitry。 Primary挂掉之后，会选举出一个Secondary作为Primary，与zookeeper类似。Arbitry上面不存数据，只是为了凑数。选举

2015-09-18 11:06:10 597

转载 mysql使用GTID跳过事务

GTID跳过有两种方法,一种是普通的跳过一个事务的方法,另外一个是在基于主库搭建新的slave的时候.一、普通跳过一个事务的方法。通过show slave status\G找到冲突的GTID号.然后执行SET gtid_next = ‘冲突的GTID号’;BEGIN;COMMIT;SET gtid_next = ‘AUTOMATIC’;START SLAVE;这就可

2015-09-17 10:56:34 7212

原创 mysql 5.6 my.cnf文件

#[mysqld]# GENERAL #character_set_server = utf8collation_server = utf8_general_ciuser = mysqldefault_storage_engine = InnoDB

2015-09-17 10:43:14 417

转载让linux系统支持xfs文件系统

让你的linux系统支持xfs文件系统只需下面的几步：以我的CENTOS 5.5系统为例。1、安装xfs支持包 yum -y install xfsprogs kmod-xfs xorg-x11-xfs xfsdump2、卸载掉原来已挂载的分区，假如你想让sda5成为xfs分区 umount /dev/sda5 3、格式化成xfs格式 mkfs.xfs

2015-09-16 13:29:18 915

原创 MongoDB慢日志分析

在 MySQL中，慢查询日志是经常作为我们优化数据库的依据，那在MongoDB中是否有类似的功能呢?答案是肯定的，那就是Mongo Database Profiler.不仅有，而且还有一些比MySQL的Slow Query Log更详细的信息。它就是我们这篇文章的主题。　　开启 Profiling 功能　　有两种方式可以控制 Profiling 的开关和级别，第一种是直接在启动参数

2015-09-11 13:49:13 8395

原创将MySQL数据导入MongoDB

1、进入Mysql，将数据导成CVSselect * from test_info into outfile '/tmp/test.csv' fields terminated by ',' optionally enclosed by '"' escaped by '"' lines terminated by '\r\n'; 2、将CVS导入到Mongodb中E:\myd

2015-09-11 13:48:37 687

原创将数据从MongoDB导入到MySQL

借助csv文件将数据从MongoDB导入到MySQL中。MongoDB提供了mongoexpert命令可将数据库中的数据导出成json和csv两种格式的文件。进入路径MongoDB/bin输入命令：mongoexpert -h [主机ip] -d [数据库名] -c [collection名] --csv -f [fields名，多个用","隔开] -o [输出的文件名]如

2015-09-11 13:47:27 2191

原创 MySQL通用优化技巧

内容提纲MySQL的特点；硬件、系统优化；MySQL 配置优化；SCHEMA设计优化；SQL 优化；其他优化。MySQL 的特点首先，需要明确的是。想要做好MySQL优化，需要先了解MySQL都有哪些特点：简言之，MySQL一般用于互联网业务的数据持久化存储，并且用于保证数据的一致性、可靠性，而不是用于：

2015-09-11 13:42:39 392

设置当前数据库日志级别：db.setProfilingLevel(n); 引用n:0 - 关闭性能分析，测试环境可以打开，生成环境关闭，对性能有很大影响1 - 开启慢查询日志，执行时间大于100毫秒的语句2 - 开启所有操作日志获取当前数据库日志分析级别:db.getProfilingLevel();数据库的日志分析数据一般存放在当前数据库的 system.profile 集合中查看当前库下所有集

2015-09-11 09:27:29 378

原创 MongoDB学习笔记(数据操作)

1. 批量插入：以数组的方式一次插入多个文档可以在单次TCP请求中完成，避免了多次请求中的额外开销。就数据传输量而言，批量插入的数据中仅包含一份消息头，而多次单条插入则会在每次插入数据时封装消息头数据。对于数据导入而言，我们可以使用mongoimport完成。 2. 数据库清除： > db.users.remove() 以上命令将会清除users集合中的所有数据，但是不

2015-09-11 09:27:27 253

原创 MongoDB学习笔记(查询)

1. 基本查询：构造查询数据。 > db.test.findOne() { "_id" : ObjectId("4fd58ecbb9ac507e96276f1a"), "name" : "stephen", "age" : 35, "genda" : "male", "email" : "step

2015-09-11 09:27:24 275

原创 MongoDB学习笔记(索引)

一、索引基础： MongoDB的索引几乎与传统的关系型数据库一模一样，这其中也包括一些基本的优化技巧。下面是创建索引的命令： > db.test.ensureIndex({"username":1}) 可以通过下面的名称查看索引是否已经成功建立： > db.test.getIndexes() 删除索引的命令是： > db.test.dropIndex({"use

2015-09-11 09:27:21 266

原创 mongo索引小结

官方文档索引部分的地址：http://docs.mongodb.org/manual/indexes/以下大部分内容来自官方文档。 1.创建索引1）创建单个索引db.collection.ensureIndex({a:1})在a字段上创建一个升序的索引(对于单个字段的索引，升序或是降序都一样)。2)创建复合索引db.collection.ensureIndex({a:1,b:-1})3）创建稀疏索

2015-09-11 09:27:18 298

原创 Linux documentation for /proc/sys/vm/* kernel version 2.6.29

2015-09-11 09:27:16 407

原创 linux下proc里关于磁盘性能的参数

我们在磁盘写操作持续繁忙的服务器上曾经碰到一个特殊的性能问题。每隔 30 秒，服务器就会遇到磁盘写活动高峰，导致请求处理延迟非常大（超过3秒）。后来上网查了一下资料，通过调整内核参数，将写活动的高峰分布成频繁的多次写，每次写入的数据比较少。这样可以把尖峰的写操作削平成多次写操作。以这种方式执行的效率比较低，因为内核不太有机会组合写操作。但对于繁忙的服务器，写操作将更一致地进行，并将极大地改进交互式

2015-09-11 09:27:13 1186

原创 Cache占用过多内存导致Linux系统内存不足问题排查

问题描述Linux服务器内存使用量超过阈值，触发报警。问题排查首先，通过free命令观察系统的内存使用情况，显示如下：total used free shared buffers cached Mem: 24675796 24587144 88652 0 357012 1612488 -/+ bu

2015-09-11 09:27:10 1544

原创 ERROR 1813 (HY000): Tablespace for table 解法办法

CREATE TABLE `td_m_ability_atomic` ( `ID` int(11) NOT NULL, `ABILITY_ID` int(11) NOT NULL, `ATOMIC_ID` int(11) NOT NULL, `PRIORITY` int(1) NOT NULL, PRIMARY KEY (`ID`)) ENGINE=innodb DEFAULT CHAR

2015-09-11 09:27:07 12065 1

原创 ERROR 1265 (01000): Data truncated for column 解决方法

遇到这种错误，把表重建一下，就好了。比如表名叫tab1,执行以下几条SQL： create table tab1_bak like tab1; insert into tab1_bak select * from tab1; drop table tab1; alter talbe tab1_bak rename tab1;然后insert或update就不会这报错了。

2015-09-11 09:27:05 8595

原创收集整理比较全 shell sed 命令与实例教程

在每一行后面增加一空行sed G将原来的所有空行删除并在每一行后面增加一空行。这样在输出的文本中每一行后面将有且只有一空行。sed '/^$/d;G'在每一行后面增加两行空行sed 'G;G'将第一个脚本所产生的所有空行删除（即删除所有偶数行）sed 'n;d'在匹配式样“regex”的行之前插入一空行sed '/regex/{x;p;x;}'在匹配式样“regex”的行之后插入一空行sed '/

2015-09-11 09:27:02 413

原创 awk归纳整理

1. awk简介awk 是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要

2015-09-11 09:26:59 319

原创 shell实现多进程，对数据库进行备份。

#!/bin/bashPATH=$PATH:$HOME/binexport PATH=/veris/usr/bin:/veris/usr/sbin:$PATHexport LD_LIBRARY_PATH=/veris/usr/lib64:$LD_LIBBRARY_PATHTHREAD_NUM=3tmp_fifofile="/tmp/$$.fifo"mkfifo "$tmp_fifofile"exe

2015-09-11 09:26:56 315

原创利用python多线程执行远程linux上命令

#!/usr/bin/python #-*- coding: utf-8 -*-import paramikoimport threadingdef ssh2(ip,username,passwd,cmd): try: ssh = paramiko.SSHClient() ssh.set_missing_host_key_policy(paramiko.AutoA

2015-09-11 09:26:54 456

原创 mysqld异常重启后，自动启动应用srm进程

#!/usr/bin/python#-*- coding: utf-8 -*-import paramikoimport osimport commandsimport timeos.environ['PATH'] = '$PATH:$HOME/bin:/veris/usr/bin:/veris/usr/sbin'os.environ['LD_LIBRARY_PATH'] = '/veris/us

2015-09-11 09:26:51 338

原创 Linux虚拟内存(VM)相关参数解析

linux控制内存的内核参数，大多放在在/proc/sys/vm目录下，主要分为几类：控制内存cache 1、dirty_background_bytes/dirty_background_ratio 当dirty cache到了多少的时候，就启动pdflush进程，将dirty cache写回磁盘当有dirty_background_bytes存在的时候，dirty_background

2015-09-11 09:26:48 610

原创 Linux内核OOM机制的详细分析

Linux 内核有个机制叫OOM killer（Out-Of-Memory killer），该机制会监控那些占用内存过大，尤其是瞬间很快消耗大量内存的进程，为了防止内存耗尽而内核会把该进程杀掉。典型的情况是：某天一台机器突然ssh远程登录不了，但能ping通，说明不是网络的故障，原因是sshd进程被OOM killer杀掉了（多次遇到这样的假死状况）。重启机器后查看系统日志/var/log/mes

2015-09-11 09:26:45 278

原创通过mk-table-checksum与pt-table-sync检查不同库两张表的一致性。

推荐两个工具mk-table-checksum、pt-table-sync可以检查不同库下的两张表名相同的表，数据是否一致。 mk-table-checksum效果截图，CHECKSUM效验值相同表示3370端口与3340端口下的test库rdc_proc_trans_his表数据一致。 pt-table-sync效果截图,以3340端口下的test库rdc_proc_trans_his表为基准

2015-09-11 09:26:42 1014

原创 mysql导出存储过程、函数、视图、触发器

由于通过mysqldump导出的存储过程、函数、视图、触发器包含definer信息，导致很多时候无法正常导入。通过以下SQL可以自动生成创建语句。--导出存储过程和函数SELECT CONCAT("DROP ",TYPE," IF EXISTS `",db,"`.`", NAME,"`;\nDELIMITER ;;\nCREATE ",TYPE," `",db,"`.`",NAME,"`(", p

2015-09-11 09:26:40 989

原创 MySQL工具汇总

本文汇总了和MySQL运维开发相关的所有工具，并会持续更新慢日志分析工具：mysqldumpslow MySQL自带的mysqlsla http://hackmysql.com/scripts/pt-query-digest percona-toolkit工具包里面的1. 工具套件集percona-toolkit:http://www.percona.com/software/percona

2015-09-11 09:26:37 263

原创 Mysql数据表的优化

优化表的数据类型表需要使用何种数据类型，是需要根据应用来判断的。虽然应用设计的时候需要考虑字段的长度留有一定的冗余，但是不推荐让很多字段都留有大量的冗余，这样即浪费存储也浪费内存。我们可以使用PROCEDURE ANALYSE()对当前已有应用的表类型的判断，该函数可以对数据表中的列的数据类型提出优化建议，可以根据应用的实际情况酌情考虑是否实施优化。语法： SELECT * FROM tbl_

2015-09-11 09:26:34 219

原创修改MySQL存储过程、函数、事件、触发器、视图的DEFINER

#修改存储过程、函数、事件、触发器、视图的 DEFINERselect definer from mysql.proc;update mysql.proc set definer='billing@%';select DEFINER from mysql.EVENTS;update mysql.EVENTS set definer='billing@%';select DEFINER from i

2015-09-11 09:26:32 680

原创 Impala：新一代开源大数据分析引擎

Impala架构分析Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。那么Impala如何实现大数据的快速查询呢

2015-09-11 09:26:29 357

原创 MySQL数据复制 Hadoop 实时复制

MySQL复制操作可以将数据从一个MySQL服务器(主)复制到其他的一个或多个MySQL服务器(从)。试想一下，如果从服务器不再局限为一个MySQL服务器，而是其他任何数据库服务器或平台，并且复制事件要求实时进行，是否可以实现呢?　　MySQL团队最新推出的 MySQL Applier for Hadoop(以下简称Hadoop Applier)旨在解决这一问题。　　用途　　例如，复制事件中的从服

2015-09-11 09:26:26 356

原创 MySQL数据传递 Hadoop 非实时

Sqoop是一个转换工具，用于在关系型数据库与HDFS之间进行数据转换。强大功能见下图以下操作就是使用sqoop在mysql和hdfs之间转换数据。1.安装我们使用的版本是sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz，打算安装在/usr/local目录下。首先就是解压缩，重命名为sqoop，然后在文件/etc/profile中设置环境变量SQOOP_HOME。把mysq

2015-09-11 09:26:24 274

空空如也

空空如也