2015年11月_rudy_gao

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

原创 postgresql dead_tuple和live_tuple

--PG并没有像Oracle那样的undo来存放旧版本；而是将旧版本直接存放于relation文件中。那么带来的问题就是dead tuple过多，导致relation文件不断增大而带来空间膨胀问题。--为了解决这个问题，PG中引入了vacuum后台进程，专门来清理这些dead tuple，并回缩空间--创建测试数据postgres=# create table t (id in

2015-11-30 14:58:05 4290

原创 postgresql 字符集server_encoding变更

--今天在使用postgres_fdw做远端数据库转储时，发现本地所使用的字符集与远端是不同的，造成插入数据错误postgres=# insert into t select * from for_t; ERROR: character with byte sequence 0xe7 0xa6 0xb4 in encoding "UTF8" has no equivalent in

2015-11-30 14:56:14 10912

原创 postgresql cluster和correlation

--今天查看pg_statsinfo报告时发现有如下警告,说明字段物理行序和逻辑行序相关不大correlation of the clustered table fell below threshold in snapshot '2015-11-30 08:30:00' --- 't.order_num', 44.01 % (threshold = 70 %)correlation

2015-11-30 14:54:35 1343

转载 MongoDB与内存

但凡初次接触MongoDB的人，无不惊讶于它对内存的贪得无厌，至于个中缘由，我先讲讲Linux是如何管理内存的，再说说MongoDB是如何使用内存的，答案自然就清楚了。据说带着问题学习更有效，那就先看一个MongoDB服务器的top命令结果：shell> top -p $(pidof mongod)Mem: 32872124k total, 30065320k used,

2015-11-27 14:32:06 426

转载 Mongodb持久化--journal探究

Mongodb在1.8版本之后开始支持journal，就是我们常说的redo log，用于故障恢复和持久化。一、启动启动journal功能使用mongod --journal选项，也可以关闭--nojournal，在2.0之后的版本，journal都是默认打开的，以确保数据安全。在version 由于Mongodb会事先初始化journal空间，而且在

2015-11-27 14:08:13 1083

转载 PgSQL · 特性分析 · full page write 机制

PG默认每个page的大小为8K，PG数据页写入是以page为单位，但是在断电等情况下，操作系统往往不能保证单个page原子地写入磁盘，这样就极有可能导致部分数据块只写到4K(操作系统是一般以4K为单位)，这些“部分写”的页面包含新旧数据的混合。在崩溃后的恢复期间，xlog 里面存储的记录变化信息不够完整，无法完全恢复该页。PG为了解决这类问题，full_page_write机制孕育而生。什么

2015-11-26 09:47:14 2021

原创 postgresql 时区配置，系统主机与数据库时间不一致

--有时候操作系统的时间与pg的时间不一致，这往往时两者时区不一致造成的

2015-11-19 09:54:39 19831

转载 mongodb 持久化

Mongodb在1.8版本之后开始支持journal，就是我们常说的redo log，用于故障恢复和持久化。持久化为了保证数据永久保存不丢失。MongoDB具有高度可配置的持久化设置，从完全没有任何保证到完全持久化。下面介绍一下内容：1. MongoDB是如何保证持久化的2. 如何配置应用程序和服务器持久化等级来满足你的需求3. 没有启用journal的影响4. 什么是Mo

2015-11-17 10:03:03 16854

转载 MongoDB与内存

但凡初次接触MongoDB的人，无不惊讶于它对内存的贪得无厌，至于个中缘由，我先讲讲Linux是如何管理内存的，再说说MongoDB是如何使用内存的，答案自然就清楚了。据说带着问题学习更有效，那就先看一个MongoDB服务器的top命令结果：12345shell> top -p $(pidof mongod)Mem: 32872124k total, 30065320k used,

2015-11-16 18:03:27 522

转载 Mongodb GetLastError写入安全机制

一、简介很多人抱怨mongodb是内存数据库，也没有事务，会不安全，其实这都是对Mongodb的误解，Mongodb有完整的redolog，binlog和持久化机制，不必太担心数据丢失问题。journal是Mongodb中的redo log，而Oplog则是负责复制的binlog（对应Mysql）。在google.groupuser上，mongo的开发者有一段这样的解释：

2015-11-16 17:50:37 1193

转载 MongoDB的选举过程

MongoDB的复制集具有自动容忍部分节点宕机的功能,在复制集出现问题时时,会触发选举相关的过程,完成主从节点自动切换.每个复制集成员都会在后台运行与复制集所有节点的心跳线程,在两种情况下会触发状态检测过程:复制集成员心跳检测结果发生变化,比如某个节点挂了或者新增节点.超过4s没有执行状态检测过程.在状态检测过程大致包含以下步骤:检测自身是否处于选举过程,如

2015-11-16 16:58:39 864

转载 numa 架构下的 mysql，mongodb数据库

从MySQL迁移到MongoDB，在导入旧数据的过程中，遇到了些许波折，犯了不少错误，但同时也学到了不少知识，遂记录下来。公司为这个项目专门配备了几台高性能务器，清一色的双路四核超线程CPU，外加32G内存，运维人员安装好MongoDB后，就轮到我了，我习惯于在使用新服务器前先看看相关日志，了解一下基本情况，当我浏览MongoDB日志时，发现一些警告信息：WARNING: You ar

2015-11-16 16:23:24 1142

原创 mongodb主从复制

--为从节点创建上当[mongodb@rudy 2.6]$ mkdir 27018[mongodb@rudy 2.6]$ mkdir 27019[mongodb@rudy log]$ mkdir 27018[mongodb@rudy log]$ mkdir 27019--主配置文件[mongodb@rudy 2.6]$ cat mongodb.conf dbpath=/usr/lo

2015-11-13 17:49:49 617

原创 mongodb数据库分片

--配置config server[mongodb@rudy_01 2.6]$ mkdir 27018[mongodb@rudy_01 2.6]$ mkdir log/27018--mongo配置文件dbpath=/usr/local/mongodb/2.6/27018fork=1logpath=/usr/local/mongodb/2.6/log/27018/mongo.logp

2015-11-13 17:46:56 1665

转载 Mysql中，int(10)和int(11)的区别

int(M) M指示最大显示宽度。最大有效显示宽度是255。显示宽度与存储大小或类型包含的值的范围无关首先说一下mysql的数值类型，MySQL支持所有标准SQL数值数据类型。这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC)，以及近似数值数据类型(FLOAT、REAL和DOUBLE PRECISION)。关键字INT是INTEGER的同义

2015-11-13 16:57:24 792

原创批处理查找方件中的关键词

--对于数据库来，如果开户了sql日志记录，则会很快的产生大量的日志文件，如果此时要查找系统中产生的错误日志或者警告日志，--在众多文件中无易于大海捞针，如果一个一个日志的查找的话--以下脚本为查找特定范围内的特定关键词--以下为脚本内容cat mathc_file.sh #!/bin/bashhelp_msg (){ echo

2015-11-12 15:50:19 2252