emc cx500上的基于linux的3节点rac上的裸设备的使用和性能测试

最新推荐文章于 2024-09-30 14:55:38 发布

crazycat123456

最新推荐文章于 2024-09-30 14:55:38 发布

阅读量169

点赞数

文章标签：操作系统大数据数据库

一直以来只是听说裸设备如果能提高性能，如果没有文件系统管理方便等等，昨天看了一篇文章后，终于明白什么叫裸设备了，下面的例子是在一个3节点的rac环境下的一个节点测试的，盯着一个节点做是为了避免过多的cache fusion而影响性能测试。
环境如下：
存储：emc cx500
主机：dell 1950
OS:redhat as4u4 64bit
DB:oracle 10.2.0.2

[@more@]

在存储上划出一块空间10G，然后把这个lun分配到已经存在的三个节点共享的STORGE GROUP中，依次重启每个节点（据说不重启也可以的，不过我一般选择重启，因为是rac环境，所以每次启动一个也不会使得数据库宕机的），最后保证每个节点都可以看到新添加的lun（这里使用disk -l）。

对新划分的空间进行分区(这个步骤只要在一个节点上操作就可以了),fdisk /dev/emcpowerk，分区后到各节点查看是否有新的设备/dev/emcpowerk1生成，新生成的设备是块设备，当时做试验的时候还不是很理解，就直接把表空间创建到了这个/dev/emcpowerk1设备上，也可以创建成功，但是因为一个lun在不同的主机上对应的设备名称不一定相同，会导致其他的node不能正确读写相应的设备，导致I/O错误。因此后来选择把块设备映射到字符设备上。
执行raw /dev/raw/raw3 /dev/emcpowerk1，把设备映射关系建立好，并到/dev/raw目录，把/dev/raw/raw3的属主和组改变成oracle:dba,把权限改为777（权限其实不需要这么大，偷懒就可以这么做），然后再其他节点也这样映射，注意要把同一个lun映射到相同的裸设备名称上去。同时应该把此步骤放到开机自动启动的脚本中，否则重新启动后映射关系就消失了。需要做两个步骤，首先在/etc/sysconfig/rawservice中添加一行/dev/raw/raw3 /dev/emcpowerk1，然后在/etc/rc.d/rc.local中增加修改/dev/raw/raw3的属主和权限的脚本,chown oracle:dba /dev/raw/raw3 chmod 777 /dev/raw/raw3。其他节点也依次做一遍。当时做试验的时候只在一个node上做完映射就开始创建表空间，
CREATE TABLESPACE tbsraw DATAFILE
'/dev/raw/raw3' SIZE 1024M AUTOEXTEND ON NEXT 10M MAXSIZE 9800M
LOGGING
PERMANENT
EXTENT MANAGEMENT LOCAL UNIFORM SIZE 1M
BLOCKSIZE 8K
SEGMENT SPACE MANAGEMENT MANUAL
FLASHBACK ON;

表空间创建成功，但是在其他节点上使用select file_name from dba_data_files查询是，会报file 7读写错误，这里的file 7就是新加的表空间对应的裸设备，错误日志如下：
Errors in file /u01/app/oracle/admin/billdb/bdump/billdb2_dbw0_9496.trc:
ORA-01157: cannot identify/lock data file 7 - see DBWR trace file
ORA-01110: data file 7: '/dev/raw/raw3'
ORA-27037: unable to obtain file status
Linux-x86_64 Error: 2: No such file or directory
Additional information: 3
因为这个节点还没有进行设备间的映射，于是按照上面的步骤操作完毕，重新执行sql查询，还是报错，重启db后，问题解决。在第三个节点上重复此步骤，到最后三个节点都可以看到这个裸设备，执行sql返回结果如下：
SQL> select file_name from dba_data_files where file_id=7;

FILE_NAME
--------------------------------------------------------------------------------
/dev/raw/raw3

创建一个表，然后开始测试，以下测试全部在一个节点进行。
SQL> alter table test nologging;

Table altered.

Elapsed: 00:00:00.03
SQL> alter table test1 nologging;

Table altered.

Elapsed: 00:00:00.02
SQL> INSERT /*+ APPEND*/ INTO TEST SELECT /*+ PARALLEL(A,4)*/ * FROM TEST A;

100000 rows created.

Elapsed: 00:00:02.19

SQL> INSERT /*+ APPEND*/ INTO TEST SELECT /*+ PARALLEL(A,4)*/ * FROM TEST A;

200000 rows created.

Elapsed: 00:00:02.33

SQL> INSERT /*+ APPEND*/ INTO TEST SELECT /*+ PARALLEL(A,4)*/ * FROM TEST A;

400000 rows created.

Elapsed: 00:00:03.99

SQL> INSERT /*+ APPEND*/ INTO TEST SELECT /*+ PARALLEL(A,4)*/ * FROM TEST A;

800000 rows created.

Elapsed: 00:00:10.68

SQL> INSERT /*+ APPEND*/ INTO TEST SELECT /*+ PARALLEL(A,4)*/ * FROM TEST A;

1600000 rows created.

Elapsed: 00:00:14.97

SQL> INSERT /*+ APPEND*/ INTO TEST SELECT /*+ PARALLEL(A,4)*/ * FROM TEST A;

3200000 rows created.

Elapsed: 00:00:29.37

SQL> INSERT /*+ APPEND*/ INTO TEST SELECT /*+ PARALLEL(A,4)*/ * FROM TEST A;

6400000 rows created.

Elapsed: 00:01:14.80

SQL> INSERT /*+ APPEND*/ INTO TEST SELECT /*+ PARALLEL(A,4)*/ * FROM TEST A;

12800000 rows created.

Elapsed: 00:01:55.63