Dataguard依赖一个健康的网络,尤其是高负载的系统和网络环境,网络上有调整的需求。
1.Oracle Net Session Data Unit (SDU) Size
Oracle Net在将数据进行网络传输的时候,先将数据放在SDU中,该参数在10gR2默认为2k,适当增加大小,可以提高网络性能和利用率。
Oracle推荐该参数取值为32767(最大值),有两种办法调整该参数。
(1)globally
配置sqlnet.ora,增加参数 DEFAULT_SDU_SIZE=32767.
(2)connect descriptor
配置listener.ora和tnsnames.ora,增加SDU描述,需要注意,在connect descriptor中配置SDU并不对动态服务注册生效,通过动态注册服务的connect,将继承sqlnet.ora中的DEFAULT_SDU_SIZE配置。
listener.ora:
SIDLIST=
(SID_LIST=
(SID_DESC=
(SDU=32767)
(SID_NAME=)
(ORACLE_HOME=)))
tnsnames.ora
=
(DESCRIPTION=
(SDU=32767)
(ADDRESS=(PROTOCOL=tcp)(HOST=)(PORT=))
(CONNECT_DATA=
(SERVICE_NAME=)))
2.TCP socket buffer
TCP socket buffer 可以通过OS层内核参数调整,也可以通过Oracle Net层调整,由于过大的size可能对OS上其他的TCP连接带来影响,因此建议在Oracle Net隔离设置。
Oracle推荐的socket buffer 计算方法如下:
socket buffer size = 3 bandwidth delay
3是BDP系数,oracle给出的工程经验值。
BDP =bandwidth delay ,其中bandwidth表示带宽,假设我们的带宽为1000Mbps,delay表示主备库之间的网络延迟,假设我们环境为20ms,那么socket buffer size= 31000Mbps*25ms/8 = 7500000 bytes
TCP socket buffer 参数通过SEND_BUF_SIZE/RECV_BUF_SIZE配置,配置方式同SDU。
3.Network Device Queue Sizes
为了避免tcp上的缓存溢出,需要增加网络设备的队列大小。以Linux为例,存在两种队列:transmit queue(传送队列)/receive queue(接收队列)。
发送队列由txqueuelen控制,接收队列由netdev_max_backlog控制。
echo 1 > /proc/sys/net/ipv4/route/flush
echo 20000 > /proc/sys/net/core/netdev_max_backlog
ifconfig eth0 txqueuelen 10000
oracle net services会话数据单元(SDU)的大小:
Oracle会将要在网络层传输的数据放入缓冲SDU中(session data unit),在11g中其为8192 bytes。如果PDB会向SDB中传输大量的redo record,不得不将数据拆分成不同的pieces。对此,可以增加SDU的大小设置,从而改善性能。对此可以在sqlnet.ora文件中修改全局的SDU,设置参数 DEFAULT_SDU_SIZE=32767(据说这是data guard设置的比较好的设置)。但考虑到网络安全的因素,往往不采取这种方式,而是在TNS层中对每个standby的连接描述符进行设置。具体如在PDB的TNSNAMES.ORA文件中设置:
SDBname=
(DESCRIPTION=
(SDU=32767)
(ADDRESS=(PROTOCOL=tcp)(HOST=Matrix_DR.domain)(PORT=1521))
(CONNECT_DATA=
(SERVICE_NAME=SDBname))
)
因为没有选择修改SQLNET.ORA全局变量的方式,所以需要在PDB的LISTENER.ORA中做相应的设置,以至于从SDB建立的链接也使用相同的SDU大小。具体加入下面的内容:
SID_LIST_listener_name=
(SID_LIST=
(SID_DESC=
(SDU=32767)
(GLOBAL_DBNAME=PDBname)
(SID_NAME=Matrix)
(ORACLE_HOME=/scratch/OracleHomes)))
此外,我们需要在SDB的系统上设置相同的SDU大小。
③TCP socket的buffer 大小调节:
对于操作系统,为TCP层设置了其相应的buffer的默认值,可以通过sysctl -a查看该设置 net.core.rmem_max 和 net.core.wmem_max 。一个应用通过TCP与server建立连接时,可以申请一个大于默认大小的socket buffer,这将分配更大的内存用于该连接,本质上是增加了带宽对该连接的可用性。当开始发送redo 记录时,TCP将缓慢增加这个buffer的大小,直到达到你所设置的最大值。当存在网络的拥挤时,此buffer也可收缩。这个TCP的buffer决定了:在server stop并等待接收到数据包的确认信息前,有多少数据可以被传输到网络层。它在一定程度上限制了网络的吞吐量。socket buffer的大小应该设置为BDP(bandwidth-delay product)的大小,BDP=bandwidthlatency(带宽乘以延迟)。同时,需要考虑到网络拥塞的情况,所以,我们可以尝试设置BDP=bandwidthlatency3 。具体实例如下:(注意,在数据传输时,kilobit是指1000bits,而对于数据存储而言,kilobyte是指1024 bytes)对于可用带宽为155Mbits/sec,PDB与SDB的距离是50miles有8ms的时间延迟,所以,BDP=155Mbits/sec8ms3=155,000,000 bits/sec0.008 sec*3=3,720,000bits=3,720,000bits/8 (8 bits to a byte)=465,000 bytes 。
如果要实现两个SDB,另一个用同样的方法计算需要设置的BDP是2,092,500 bytes。对此,在11g中,可以分别为SDB设置不同的socket size,但是要注意考虑角色转换后的影响。
现在假设有三个系统,Matrix.domain, Matrix_DR.domain和Matrix_DR1.domain,三个DB分别是Matrix, Matrix_DR0和Matrix_DR1。像SDU一样,socket size必须设置在网络两端。在Matrix(PDB)上有如下的设置:
LOG_ARCHIVE_DEST_2=’SERVICE=Matrix_DR0 SYNC AFFIRM’
LOG_ARCHIVE_DEST_3=’SERVICE=Matrix_DR1 ASYNC NOAFFIRM’
同时在Matrix的TNS文件中,需要设置不同的socket size,如下:
Matrix_DR0.domain=
(DESCRIPTION=
(SDU=32767)
(SEND_BUF_SIZE=465000)
(RECV_BUF_SIZE=465000)
(ADDRESS=(PROTOCOL=tcp)(HOST=Matrix_DR.domain)(PORT=1521))
(CONNECT_DATA=
(SERVICE_NAME=Matrix_DR0.domain))
)
Matrix_DR1.domain=
(DESCRIPTION=
(SDU=32767)
(SEND_BUF_SIZE=2092500)
(RECV_BUF_SIZE=2092500)
(ADDRESS=(PROTOCOL=tcp)(HOST=Matrix_DR1.domain)(PORT=1521))
(CONNECT_DATA=
(SERVICE_NAME=Matrix_DR1.domain))
)
下面需要分别在Matrix_DR和Matrix_DR1的SDB listener.ora中分别添加socket size。
LISTENER =
(DESCRIPTION =
(SEND_BUF_SIZE=465000)
(RECV_BUF_SIZE=465000)
(ADDRESS = (PROTOCOL = TCP)(HOST = Matrix_DR.domain)(PORT = 1521))
)
LISTENER =
(DESCRIPTION =
(SEND_BUF_SIZE=2092500)
(RECV_BUF_SIZE=2092500)
(ADDRESS = (PROTOCOL = TCP)(HOST = Matrix_DR1.domain)(PORT = 1521))
)
此外我们还应该考虑到当发生角色转换后的影响,显然会最先选择Matrix_DR0作为switchover后的新PDB,所以需要在Matrix_DR系统上的tns文件中设置
Matrix.domain=
(DESCRIPTION=
(SDU=32767)
(SEND_BUF_SIZE=465000)
(RECV_BUF_SIZE=465000)
(ADDRESS=(PROTOCOL=tcp)(HOST=matrix.domain)(PORT=1521))
(CONNECT_DATA=
(SERVICE_NAME=Matrix.domain))
)
Matrix_DR1.domain=
(DESCRIPTION=
(SDU=32767)
(SEND_BUF_SIZE=2092500)
(RECV_BUF_SIZE=2092500)
(ADDRESS=(PROTOCOL=tcp)(HOST=Matrix_DR1.domain)(PORT=1521))
(CONNECT_DATA=
(SERVICE_NAME=Matrix_DR1.domain))
因为之前已经设置了Matrix_DR0 和 Matrix_DR1的listener文件,所以需要在Matrix中添加如下:
LISTENER =
(DESCRIPTION =
(SEND_BUF_SIZE=465000)
(RECV_BUF_SIZE=465000)
(ADDRESS = (PROTOCOL = TCP)(HOST = Matrix.domain)(PORT = 1521))
)
考虑到可能会将Matrix_DR1作为switchover后的PDB时,还需要做同上面类似的修改。最终相应的参数修改如下:
■ Matrix
Matrix_DR0 TNS using 465000
Matrix_DR1 TNS using 2092000
Listener using 2092000
■ Matrix_DR0
Matrix TNS using 465000
Matrix_DR1 TNS using 2092000
Listener using 2092000
■ Matrix_DR1
Matrix TNS using 2092000
Matrix_DR0 TNS using 2092000
Listener using 2092000
④网络设备的队列长度:网络通讯设备有很多可以调节的参数,但在此,只关注控制传输和接收队列的控制参数。对这些队列的size控制可以避免因为本地buffer溢出而造成的损失。下面指明了何时进行队列的调节:
当cpu比网络更快时,需要调节传输队列
当socket buffer size较大时,需要调节传输队列
当存在突发传输拥塞的可能性,需要调节接收队列
当有较高比率的较小的数据包时,传输、接收队列都需要调节。
对于传输队列的size是通过网络接口的txqueuelen选项设置的,而接收队列是通过内核参数net_max_backlog控制的。可以用”ifconfig eth0 txqueuelen 10000″ 语句设置传输队列的大小,对于接收队列,可以用sysctl -a | grep ‘net.core.netdev_max_backlog’查看当前的设置,用”sysctl -w net.core.netdev_max_backlog=20000″语句对其设置。
⑤对standby redo log(SRL)文件I/O的设置:在data guard中,对于Maximum availability和Maximum protection模式,要求必须有SRL文件,对于Maximum performance模式,SRL文件可以提高其性能。