数据库
文章平均质量分 80
wan_xie2009
这个作者很懒,什么都没留下…
展开
-
PG 挂起了?
我使用TPC-C测试PG的性能时, PG有时会停止工作,但进程都活着,表页都能访问,没有找到死锁。请问:这是什么原因呢?测试的客户端应该没有问题,因为用它测试Mysql没问题。谢!!!!!!!! max_connections = 500 shared_buffe转载 2012-05-28 19:04:54 · 625 阅读 · 0 评论 -
用pg_statsinfo监控PostgreSQL v8.3,v8.4,v9.0
pg_statsinfo的架构如下:分为三个组件:1. pg_statsinfo部署在被监控的数据库端,用于采集数据库瞬间状态,过滤数据库csv日志,需要与repository DB通信.2. pg_reporter部署在HTML报告服务器上,需要与repository DB通信,与被监控的数据库通信(可选).3. repository DB用于存放pg_statsin转载 2012-05-31 18:49:14 · 2459 阅读 · 0 评论 -
postgres监控—nagios插件监控方案
http://pgfoundry.org/projects/nagiosplugins/原创 2012-05-21 15:10:02 · 673 阅读 · 0 评论 -
使用PostgreSQL下的statspack
在Oracle下有一个查看分析数据库的工具叫statspack,在PostgreSQL下也有这样的一个工具。下面将介绍如何使用这个工具。安装:在网站上下载:http://pgfoundry.org/projects/pgstatspack,在这个页面中可以看到下载链接,把pgStatspack下载下来。我下载的是pgstatspack_version_2.2.tar.gz,把这个包转载 2012-06-13 17:14:25 · 683 阅读 · 0 评论 -
pgstatpack,postgresql的性能分析利器
对于性能分析,最基本得是DB运行信息的收集,oracle里提供statspack,9i开始叫AWR报告,在PostgreSQL下也有这样的一个工具。基本具备了oracle类似的功能:9.0的使用手册:http://www.postgresql.org/docs/9.0/interactive/pgstatstatements.htmlpgstatpack下载地址:http://pgfoun转载 2012-06-13 17:15:05 · 1854 阅读 · 0 评论 -
postgres简介
我应该怎样学习 SQL ?首先考虑上述提到的与PostgreSQL相关的书籍。我们的许多用户喜欢The Practical SQL Handbook, Bowman, Judith S. 编写,Addison-Wesley公司出版,其他的则喜欢 The Complete Reference SQL, Groff 编写,McGraw-Hill公司出版。在下列网址上也有很好的教程,他们转载 2012-05-24 14:59:28 · 1091 阅读 · 0 评论 -
postgresql优化(一个非常好的介绍)
原文地址:http://ruimemo.wordpress.com/2010/03/31/postgresql-performance-and-maintenance-%EF%BC%88postgres-%E4%BC%98%E5%8C%96%E4%B8%8E%E7%BB%B4%E6%8A%A4/postgresql 优化与维护1. 硬件 数据库最重要的就是 I/O了。所以一切转载 2012-05-24 15:01:58 · 2452 阅读 · 1 评论 -
自己写的MySQL实时监控脚本–mystat
本文内容遵从CC版权协议, 可以随意转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://www.penglixun.com/tech/program/mysql_realtime_status_moniter_mystat.html一直想模拟一个Spotlight For MySQL一样的软件,能够实时监控数据库,做UI实在不擅长,看了NinGoo大牛的转载 2012-05-24 18:46:04 · 644 阅读 · 0 评论 -
postgres支持并发测试
当我运行以下wwaa.sh程序来测试时,我发现postgres数据库的并发处理能力很差,当连接数达到一定数量时,连上去很费时间,但一旦连上后,数据库的反应还是很快的,我写了个比赛程序,由于要频繁调用数据库,有时会有停顿现象。如果我采用持久连接的话,只是在连接的时候慢一点,连上后比较正常,但采用持久连接的话,就不能有很多人连上来,假设我同时有300人比赛,有没有好的解决方法?能不能用连接池来解决?如转载 2012-05-24 19:46:12 · 916 阅读 · 0 评论 -
Postgres Performance[性能监控检测]
原文出处理:http://www.cnblogs.com/coffee_cn/articles/977898.html说白了一句话:select * from (SELECT pg_stat_get_backend_pid(s.backendid) AS procpid, pg_stat_get_backend_activity(s.backendid) AS current_qu转载 2012-05-24 18:42:15 · 1234 阅读 · 0 评论 -
mystat 1.0 release 发布
本文内容遵从CC版权协议, 可以随意转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://www.penglixun.com/tech/program/mystat_release.html mystat是一款MySQL数据库实时监控脚本,Perl编写,基于MySQL的show global status和show global variables结果进行分析转载 2012-05-24 18:48:05 · 414 阅读 · 0 评论 -
DBA常用脚本-性能监控
1、数据缓冲区的命中率已经不是性能调整中的主要问题了,但是,过低的命中率肯定是不可以的,在任何情况下,我们必须保证有一个大的data buffer和一个高的命中率。 这个语句可以获得整体的数据缓冲命中率,越高越好 Code: [Copy to clipboard] SELECT a.VALUE + b.VALUE logical_reads, c.V转载 2012-05-24 19:14:04 · 421 阅读 · 0 评论 -
postgresql 的进程监控&管理
首先,在postgresql.conf中把stats_command_string = true打开,使PostgreSQL的stats collector process监控每个session的sql语句。第一个脚本 viewsql.sh: 根据pid查看进程的sql执行情况#!/bin/sh # viewsql.sh ## use to show all active转载 2012-06-13 17:17:46 · 758 阅读 · 0 评论 -
excel数据转换成insert语句
excel表格中有A、B、C三列数据,希望导入到数据库users表中,对应的字段分别是name,sex,age 。在你的excel表格中增加一列,利用excel的公式自动生成sql语句,方法如下: 1、增加一列(D列) 2、在第一行的D列,就是D1中输入公式: =CONCATENATE("insert into users (name,sex,age) values (转载 2012-07-19 16:22:24 · 538 阅读 · 0 评论 -
PG常用的几个查询(1)
select version(); ---查看pg版本SELECT current_database(); --查看当前数据库select current_user; --查看当前用户psql -c "select version()" ----执行单条sql命令psql -f xxxx.sql -----可以把多条命令写入文件,用-f执行SELECT pg_da转载 2012-07-24 15:58:03 · 698 阅读 · 0 评论 -
数据库常见的三种join方式
数据库常见的join方式有三种:inner join, left outter join, right outter join(还有一种full join,因不常用,本文不讨论)。这三种连接方式都是将两个以上的表通过on条件语句,拼成一个大表。以下是它们的共同点: 1. 关于左右表的概念。左表指的是在SQL语句中排在left join左边的表,右表指的是排在left join右边的表。转载 2012-07-30 18:41:42 · 521 阅读 · 0 评论 -
JDBC数据库连接池的实现及原理
1.前言数据库应用,在许多软件系统中经常用到,是开发中大型系统不可缺少的辅助。但如果对数据库资源没有很好地管理(如:没有及时回收数据库的游标(ResultSet)、Statement、连接 (Connection)等资源),往往会直接导致系统的稳定。这类不稳定因素,不单单由数据库或者系统本身一方引起,只有系统正式使用后,随着流量、用户的增加,才会逐步显露。在基于Java开发的系统中,JDB转载 2012-07-30 19:08:09 · 961 阅读 · 0 评论 -
分布式文件系统测试方法与测试工具
非结构化数据、大数据、云存储已经毫无争议地成为了信息技术发展趋势和热点,分布式文件系统作为核心基础被推到了浪潮之巅,广泛被工业界和学术界热推。现代分布式文件系统普遍具有高性能、高扩展、高可用、高效能、易使用、易管理等特点,架构设计的复杂性使得系统测试也非常复杂。从商业产品ISILON, IBRIX, SONAS, Filestore, NetApp GX, Panasas, StorNext,转载 2012-08-29 18:15:50 · 1058 阅读 · 0 评论 -
Use nagios monitor PostgreSQL archive status
PostgreSQL Archived in the Cloudhttp://blog.163.com/digoal@126/blog/static/163877040201152321027994/关于归档状态的监控采用nagios来搞定,如下是一个archive_command输出的文件内容:cat /tmp/pgarchive.nagios_54320status转载 2012-05-31 19:18:46 · 583 阅读 · 0 评论 -
PostgreSQL PARSE等待一例
某系统发送异常,经查有大量waiting.skyurs=# select procpid,query_start,waiting,current_query from pg_stat_activity;procpid | query_start | waiting |转载 2012-05-31 19:17:21 · 1410 阅读 · 0 评论 -
PostgreSQL数据库开源连接池pgbouncer的使用
首先,先介绍一个postgresql的资源网站:http://pgfoundry.org/ 这里面有非常多和POSTGRESQL相关的资源。pgbouncer是一个非常小型的连接池,最经典的用法是在plproxy环境中。这里介绍一下在LINUX平台下的安装和使用,安装时需要libevent,gcc,make等常用工具。下载:源码 http://pgfoundry.org/frs/d转载 2012-05-31 19:13:26 · 1096 阅读 · 0 评论 -
Database Test 2使用手记
Databases Test 2(DBT2)是由Open Source Development Lab开发的用于测试数据库性能的测试工具,虽然没有完全实现TPCC但是基本上也是模拟了OLTP的应用场景的,测试结果包括每秒处理的事务数、CPU使用率、IO以及内存的使用情况,现在主要是由Mark Wong在进行开发和维护。这个测试工具在SourceForge上可以下载到,但已经不是最新版本了,如果想使转载 2012-05-28 19:13:10 · 679 阅读 · 0 评论 -
PostgreSQL中的进程
一、Postgres在启动后,可分别以一下四种形式启动进程:* SubPostmasterMain* AuxiliaryProcessMain* PostgresMain* PostmasterMainPostmasterMain1. 设置进程ID2. 初始化内存池3. 设置路径、时间等变量4. 初始化GUC选项,处理输入参数并载入hba和ident5. 设转载 2012-05-28 19:21:24 · 553 阅读 · 0 评论 -
Linux下使用BenchmarkSQL测试PostgreSQL
BenchmarkSQL是一款经典的开源数据库测试工具,内嵌了TPCC测试脚本,可以对EnterpriseDB、PostgreSQL、MySQL、Oracle以及SQL Server等数据库直接进行测试,下面笔者就如何在Linux下使用这款测试工具测试PostgreSQL的性能来做一些简单介绍(操作系统为Fedora 12,PostgreSQL版本为8.0.22)。首先,在Linux下安装JD转载 2012-05-28 19:05:52 · 1901 阅读 · 0 评论 -
PostgreSQL客户端常用命令1
psqlNamepsql -- PostgreSQL 交互终端Synopsispsql [option...] [dbname [username]]描述psql 是一个以终端为基础的 PostgreSQL 前端。它允许你交互地键入查询,把它们发出给 PostgreSQL,然后看看查询的结果。另外,输入可以来自一个文件。还有, 它提供了一些元命令和多种类 shell 地特性转载 2012-05-28 19:14:21 · 922 阅读 · 0 评论 -
PostgreSQL客户端常用命令2
\set [ name [ value [ ... ] ] ]设置内部变量 name 为 value 或着如果给出了多于一个值,设置为所有这些值的联接结果。如果没有给出第二个参数,只设变量不设值。要重置一个变量,使用 \unset 命令。有效的变量名可以包含字符,数字和下划线。 参阅下面的 变量 获取细节。尽管你可以设置任何变量为任意值, psql对一些变量特殊对待。它们在关于变量的节转载 2012-05-28 19:18:17 · 1008 阅读 · 0 评论 -
python代码:将远程postgresql数据库表结构备份到别的主机
from pyPgSQL import PgSQL #host:port:database:user:password:options:ttysrc_db_conn_str = "ip:5432:dbname:username:password"dst_db_conn_str = "ip:5432:dbname:username:password"src_db = PgSQL.转载 2012-05-29 16:06:41 · 874 阅读 · 0 评论 -
影响 PostgreSQL 的内存使用的配置参数
max_connections (integer)决定和数据库连接的并发连接数目的最大值。 缺省通常是 100,但是如果你的内核设置不支持这么大(在 initdb 的时候判断), 可能会比这个数少。这个参数只能在服务器启动的时候设置。增大这个参数可能导致 PostgreSQL 要求更多的 System V 共享内存或者信号灯, 可能超过你的操作系统缺省配置的许可值。必要的话,参阅转载 2012-05-29 16:20:13 · 2800 阅读 · 0 评论 -
PostgreSQL bind <unnamed>: slow SQL case record 查询慢
最近某库经常有SQL非常慢。经过检查都是走索引的SQL,直接在PSQL执行时是正常的速度。SQL如下:parameters: $1 = '127385207'duration: 20709.311 ms bind : SELECT skyid, currency_id, currency_amt, currency_amt as currency_amt2转载 2012-05-31 18:55:35 · 1428 阅读 · 0 评论 -
Swap Consumed very Much When PostgreSQL autovacuum to prevent wraparound
今天接到监控组的告警,某数据库服务器的SWAP分区消耗超过阀值,消耗约8G。free total used free shared buffers cachedMem: 24682828 24607764 75064 0 10128 6525184-/+转载 2012-05-31 19:00:38 · 734 阅读 · 0 评论 -
Using PGSNAP to Monitor PostgreSQL Database
前几天一位同事问我PostgreSQL有没有好的监控程序,因为一直都是自己写的脚本来实现的,其他的监控产品接触也不多,赶紧抽点时间补补功课。数据库监控是一个非常重要的活,一般性把监控分为三类.1. 实时告警类监控(不保留历史)这一类的PostgreSQL监控有nagios,等等。当然也可以自己写监控程序。2. 准实时分析类监控(保留历史)这一类的PostgreSQL监控有HQ,转载 2012-05-31 19:16:14 · 598 阅读 · 0 评论 -
Swap Consumed very Much When PostgreSQL autovacuum to prevent wraparound
今天接到监控组的告警,某数据库服务器的SWAP分区消耗超过阀值,消耗约8G。free total used free shared buffers cachedMem: 24682828 24607764 75064 0 10128 6525184-/+转载 2012-05-31 19:18:07 · 584 阅读 · 0 评论 -
PostgreSQL的日志系统
像其它数据库一样,PostgreSQL也有自己的日志系统,postgresql 日志方面有非常全面的设置参数,这篇不准备仔细的介绍PG的日志参数,只介绍日志分析的一种方法,即可以将日志文件内容导入到数据库表里,便于分析日志。--日志文件目录 日志的目录可以通过参数 log_directory 来设置,下面是我的参数设置。 log_directory = '/var/转载 2012-05-31 18:38:56 · 1075 阅读 · 0 评论 -
PostgreSQL 监控脚本[from zabbix.org]
zabbix是一个非常好的监控平台软件,通过编写被监控目标的脚步实现对目标的监控。下面是PostgreSQL的一个监控脚步:(可以在此基础之上进行修改)原文地址http://www.zabbix.com/forum/showthread.php?t=8009#! /bin/bash## Name: zapost## Checks PostgreSQL activit转载 2012-05-31 18:53:11 · 1683 阅读 · 0 评论 -
postgresql slow sql report 慢查询报告
其实也不完全算PostgreSQL的技巧,应该算是SHELL技巧。首先要配置好postgresql.conf,让PG记录下慢查询,并且日志固定格式,如下:log_destination = 'csvlog'log_min_duration_statement = 100mspg_ctl reload -D $PGDATA来看一个统计的例子:vi digoal.sh转载 2012-05-31 18:58:49 · 6072 阅读 · 1 评论 -
Use PostgreSQL collect and analyze Operation System statistics
当你管理的服务器越来越多的时候, 哪个服务器才是你最需要关注的?通过各个监控维度的排行, 可以知道你到底需要关注或者优先关注哪些服务器.这个通过nagios,cacti等监控软件当然是可以做到的.不过不太灵活, 因为服务器的配置各不一样, 关注的维度也不一样, PostgreSQL数据库的递归调用和窗口函数可以很好的运用来输出各种各样的统计数据, 有了数据也就利于展现了。本转载 2012-05-31 19:04:56 · 910 阅读 · 0 评论 -
checkpoint_write_time, checkpoint_sync_time will added in pg_stat_bgwriter
PostgreSQL的统计信息视图pg_stat_bgwriter中包含如下列的信息 : pg_stat_bgwriter viewColumnTypeDescriptioncheckpoints_timedbigintNumber of scheduled checkpoints. This value can also be转载 2012-05-31 19:07:22 · 1297 阅读 · 0 评论 -
Class.forName("com.mysql.jdbc.Driver");的作用
使用JDBC时,我们都会很自然得使用下列语句:java 代码Class.forName("com.mysql.jdbc.Driver"); String url = "jdbc:mysql://127.0.0.1/test?useUnicode=true&characterEncoding=utf-8"; String user = ""; String psw = "";转载 2012-10-24 18:01:19 · 896 阅读 · 0 评论