2015年12月_xiaobluesky

转载利用一致性哈希水平拆分MySql单表

Sharding（切片）不是一门新技术，而是一个相对简朴的软件理念，就是当我们的数据库单机无法承受高强度的i/o时，我们就考虑利用 sharding 来把这种读写压力分散到各个主机上去。所以Sharding 不是一个某个特定数据库软件附属的功能，而是在具体技术细节之上的抽象处理，是Horizontal Partitioning 水平扩展(或横向扩展)的解决方案，其主要目的是为

2015-12-29 21:22:23 14905 1

转载数据库按照手机号分库后，还需要允许用户使用邮箱、用户名等登录，怎么才能提高查询效率？

用户可以使用手机号，邮箱，编号登录，数据量特别大，需要分表，现在按照手机号hash进行分表，但是这样的话，使用邮箱或者编号登录的话怎么办呢？回答：1.数据量特别大，就算用户量再，相信贵公司的产品不会超过 3亿账号，若是如此的话，建议拆分的时候采用路由表的模式，而不是HASH，也即你们的拆分手段就做不对。2.若是按照手机号码拆分的话，则会导致其他的邮箱地址和编号

2015-12-29 21:14:37 3491

转载每天进步一点点——五分钟理解一致性哈希算法(consistent hashing)

转载请说明出处：http://blog.csdn.net/cywosp/article/details/23397179 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中

2015-12-29 20:46:56 536

转载间隙锁（Next-Key锁）

20.3.5 间隙锁（Next-Key锁）2008-03-27 22:22 唐汉明翟振兴兰丽华关宝军申宝柱人民邮电出版社字号：T | T综合评级：想读(11) 在读(4) 已读(8) 品书斋鉴(1) 已有23人发表书评《深入浅出MySQL——数据库开发、优化与管理维护》从数据库的基础、开发、优化、管理4方面对MySQL进行了详细的介绍

2015-12-27 13:07:50 6991 5

转载 SQLLDR

SQLLDR应用举例1、普通装载 LOAD DATAINFILE *INTO TABLE DEPTREPLACEFIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' (DEPTNO,DNAME,LOC)BEGINDATA10,Sales,"""USA"""20,Accounting,"Virginia,USA" 30,

2015-12-21 23:42:54 706

转载 OCP课程之ORACLE审计

一、目前数据库审计的几种类型审计类型说明语句审计按照语句类型审计SQL语句，而不论访问何种特定的模式对象。也可以在数据库中指定一个或多个用户，针对特定的语句审计这些用户权限审计审计系统权限，例如CREATE TABLE或ALTER INDEX。和语句审计一样，权限审

2015-12-16 23:49:58 661

转载 OCP知识点讲解之检查点队列与增量检查点

检查点的主要目的是以对数据库的日常操作影响最小的方式刷新脏块。脏块不断的产生，如何将脏块刷新到磁盘中去呢？在8i之前，Oracle定期的锁住所有的修改操作，刷新Buffer cache中的所有脏块，这种刷新脏块的方式被称为完全检查点，这极大的影响了效率，从9i之后只有当关闭数据库时才会发生完全检查点。从8i开始，Oracle增加了增量检查点的概念，增量检查点的主要宗旨

2015-12-13 21:32:18 411

转载检查点（Checkpoint）的本质

1.检查点（Checkpoint）的本质许多文档把Checkpint描述得非常复杂，为我们正确理解检查点带来了障碍，结果现在检查点变成了一个非常复杂的问题。实际上，检查点只是一个数据库事件，它存在的根本意义在于减少崩溃恢复（Crash Recovery）时间。当修改数据时，需要首先将数据读入内存中（Buffer Cache），修改数据的同时，Oracle会记录重做信息（R

2015-12-13 20:08:12 27891 3

原创使用alter tablespace create datafile恢复丢失的数据文件

测试无备份情况下，数据文件损坏的恢复！--创建测试表空间SQL> create tablespace tbs2 datafile '/u02/tbs2.dbf' size 200M;Tablespace created.SQL> --在测试表空间建表及插入测试数据SQL> create table t2(xxx varchar2(20)) tablespace tbs2

2015-12-12 00:17:58 820

原创 mongorestore 恢复mongodump文件报BSONObj size: 17794400 (0x10F8560) is invalid. Size must be between 0 and

从MONGODB2.6升级到MONGODB3.0.7，从MONGODB3.0 RESTORE 2.6DUMP的文件时，报如下错误：2015-11-05T10:31:30.131+0800 I NETWORK [conn12] AssertionException handling request, closing client connection: 10334 BSONObj size: 17

2015-12-08 12:07:57 4556

转载 my.cnf配置文件参数解释

[client]port = 3309socket = /home/mysql/mysql/tmp/mysql.sock[mysqld]!include /home/mysql/mysql/etc/mysqld.cnf #包含的配置文件，把用户名，密码文件单独存放port = 3309socket = /home/mysql/mysql/tmp/mysql.sockpid-file

2015-12-05 21:39:23 6719

转载 MySQL my.cnf 中文参考

MySQL my.cnf 中文参考 #BEGIN CONFIG INFO#DESCR: 4GB RAM, 只使用InnoDB, ACID, 少量的连接, 队列负载大#TYPE: SYSTEM#END CONFIG INFO## 此mysql配置文件例子针对4G内存# 主要使用INNODB# 处理复杂队列并且连接数量较少的mysql服务器##

2015-12-05 21:30:56 461 1

转载 Mongodb mmapv1存储引擎解析

mongodb的mongod服务管理一个数据目录，可包含多个DB，每个DB的数据单独组织，本文主要介绍mmapv1存储引擎的数据组织方式。Database每个Database(DB)由一个.ns文件及若干个数据文件组成$ll mydb.*-rw------- 1 ydzhang staff 67108864 7 4 14:05 mydb.0-rw-------

2015-12-05 14:14:16 1397

转载 Mongodb如何使用wiredTiger？

Mongodb 3.0支持用户自定义存储引擎，用户可配置使用mmapv1或者wiredTiger存储引擎，本文主要介绍Mongodb是如何使用wiredTiger数据库作为底层的数据存储层。目前还没有读过wiredTiger的源码，本文的内容都是基于wiredTiger官方文档，以及Mongodb对wiredTiger封装代码，有问题请指出。wiredTiger引擎存储布局wire

2015-12-05 13:49:17 7583 2

转载 ORACLE12C新特性之在线迁移活跃的数据文件

ORACLE12C新特性之在线迁移活跃的数据文件前几天把oracle11g升级到12c时，没有选择移动数据库文件，导致数据库文件控制文件日志文件都还在oracle11g的目录，为了系统文件管理方便，需要移动到12c数据库的目录，刚好可以测试一下oracle12C的新特性-在线迁移活跃的数据文件！相关文件检查:SQL> select * from v$version;BANN

2015-12-04 10:21:34 653

转载 oracle中的检查点Ckpt和SCN号

Checkpoint checkpoint是用来减少在数据库恢复过程中所花的时间(instance recovery).数据库中有个CKPT进程，这个是个可选进程，但是真正执行检查点的任务并不是有ckpt来完成的，而是ckpt在更新控制文件和数据文件头的有关信息后，通知DBWn进程，产生一个检查点，在产生检查点的时候，DBWn进程会将buffer cache中的脏数据(当前online

2015-12-02 22:57:52 1339

转载 Oracle 中的rowid

Oracle中的每个表都有一个rowid,它是一个18位字符组成字符串,例:AAANgBAABAAAO/KAAA.它包含的字符串由A-Z,a-z,0-9,+,/这些字符组成.是64进制.其中A-Z对应0-25,a-z对应26-51,0-9对应52-61,+对应62,/对应63.这个18位的字符串分成4段分别表示不同的意思(6,3,6,3),1-6位表示对象数据ID（段编号）,7-9

2015-12-02 22:56:12 318

转载 Oracle ROWID详解

1.ROWID定义ROWID：数据库中行的全局唯一地址对于数据中的每一行，rowid伪列返回行的地址。rowid值主要包含以下信息：对象的数据对象编号该行所在的数据文件中的数据块该行中数据块的位置（第一行是0）数据行所在的数据文件（第一个文件是1）。该文件编号是相对于表空间。通常来说，一个rowid值唯一标识数据中的一行。然而，存储在同一聚簇中不同的表可以有相同的r

2015-12-02 22:52:25 2167

转载 SCN号与oracle数据库恢复的关系

SCN号与oracle数据库恢复过程有着密切的关系，只有很好地理解了这层关系，才能深刻地理解恢复的原理，从而才能很好地解决这方面的问题。SCN与CHECKPOINTCKPT进程在checkpoint发生时，将当时的SCN号写入数据文件头和控制文件，同时通知DBWR进程将数据块写到数据文件。CKPT进程也会在控制文件中记录RBA(redo byte address),以标志Recover

2015-12-02 22:49:06 2507

转载 Oracle 中的一些重要V$ 动态性能视图，系统视图和表

v$database:数据库的信息，如数据库名，创建时间等。v$instance 实例信息，如实例名，启动时间。v$parameter 参数信息，select * from v$parameter where name like '%name' ----> show parameter name(sqlplus中执行)v$process 运行的进程的信息,如PID,S

2015-12-02 22:46:54 4746

转载 oracle常用动态性能视图

要查看oralce有哪些可用的动态性能视图可以看v$fixed_table1.关于数据库/实例的动态性能视图 v$database :displays information about the database from the control file.v$instance :displays the state of the current instance(

2015-12-02 22:42:30 1201

原创 LINUX下SQLPLUS无法使用删除及上下键

问题描述：正常的SQLPLUS下，可以使用删除键和上下键进行历史输入回看。而LINUX下，默认进入SQLPLUS后，回车产生乱码。而且无法查看历史输入。解决方案：使用rlwrap替代默认的SQLPLUSrlwrap说明：rlwrap是一个包装的readLine库，允许在任何命令行里编辑输入内容，而且会保存历史的输入信息，以供调用。

2015-12-02 21:22:09 3700

转载 UNDO表空间详解

Oracle 10g中UNDO数据的作用及UNDO表空间的常用操作是本文我们主要要介绍的内容，UNDO数据也称为回滚(ROLLBACK)数据,它用于确保数据的一致性.当执行DML操作时,事务操作前的数据被称为UNDO记录.UNDO段用于保存事务所修改数据的旧值,其中存储着被修改数据块的位置以及修改前数据。UNDO数据的作用：1.回退事务当执行DML操作修改数据时,UNDO数据被存放到U

2015-12-02 20:20:02 557

xiaobluesky的专栏