sc搭建
- 环境准备
硬件:两台相同配置机器,1G内存,100G本地磁盘,2块网卡,另有一块共享磁盘100G。
操作系统:centos7 Linux 64位。
网络配置:ens37网卡为192.168.9.x内网网段,两台机器分别为192.168.9.67/192.168.9.68;ens33为192.168.1.x外网网段,两台机器分别为192.168.1.7/192.168.1.55。内网网段用于MAL通讯。
DM 各种工具位于目录:/dmdata
配置文件位于目录:/data
修改共享磁盘Scsi对应
虚拟机环境中需要修改.vmx文件,添加:
disk.locking = "FALSE"(如果未添加,则这块磁盘只允许一台虚拟机使用)
scsi1:1.SharedBus="Virtual"
取消这块磁盘被当前虚拟机锁定
- 共享磁盘裸设备划分
输入fdisk /dev/sdb
依次输入 n → p → 1 →回车→ +100M →回车,完成第一块磁盘划分
依次输入 n → p → 2 →回车→ +100M →回车,完成第二块磁盘划分
依次输入 n → p → 3 →回车→ +2048M →回车,完成第三块磁盘划分
依次输入 n → p → 4 →回车→回车→回车,完成第四块磁盘划分
w保存退出
编辑/etc/udev/rules.d/60-raw.rules文件,增加以下语句:
ACTION=="add", KERNEL=="sdb1", RUN+="/bin/raw /dev/raw/raw1 %N"
ACTION=="add", KERNEL=="sdb2", RUN+="/bin/raw /dev/raw/raw2 %N"
ACTION=="add", KERNEL=="sdb3", RUN+="/bin/raw /dev/raw/raw3 %N"
ACTION=="add", KERNEL=="sdb4", RUN+="/bin/raw /dev/raw/raw4 %N"
ACTION=="add", KERNEL=="raw[1-4]", OWNER="dmdba", GROUP="dinstall", MODE="660"
添加完成后需要执行start_udev,但是Linux7.x后就没有start_udev命令了
执行:
/sbin/udevadm trigger --type=devices --action=change
systemctl restart systemd-udev-trigger.service
查看裸设备:
ll /dev/raw/*
- 配置dmdcr_cfg.ini
cd /data
vim dmdcr_cfg.ini
DCR_N_GRP = 3
DCR_VTD_PATH = /dev/raw/raw2
DCR_OGUID = 63635
[GRP]
DCR_GRP_TYPE = CSS
DCR_GRP_NAME = GRP_CSS
DCR_GRP_N_EP = 2
DCR_GRP_DSKCHK_CNT = 60
[GRP_CSS]
DCR_EP_NAME = CSS0
DCR_EP_HOST = 192.168.1.7 #业务地址
DCR_EP_PORT = 9341
[GRP_CSS]
DCR_EP_NAME = CSS1
DCR_EP_HOST = 192.168.1.55 #业务地址
DCR_EP_PORT = 9343
[GRP]
DCR_GRP_TYPE = ASM
DCR_GRP_NAME = GRP_ASM
DCR_GRP_N_EP = 2
DCR_GRP_DSKCHK_CNT = 60
[GRP_ASM]
DCR_EP_NAME = ASM0
DCR_EP_SHM_KEY = 93360
DCR_EP_SHM_SIZE = 20
DCR_EP_HOST = 192.168.9.67
DCR_EP_PORT = 9349
DCR_EP_ASM_LOAD_PATH = /dev/raw
[GRP_ASM]
DCR_EP_NAME = ASM1
DCR_EP_SHM_KEY = 93361
DCR_EP_SHM_SIZE = 20
DCR_EP_HOST = 192.168.9.68
DCR_EP_PORT = 9351
DCR_EP_ASM_LOAD_PATH = /dev/raw
[GRP]
DCR_GRP_TYPE = DB
DCR_GRP_NAME = GRP_DSC
DCR_GRP_N_EP = 2
DCR_GRP_DSKCHK_CNT = 60
[GRP_DSC]
DCR_EP_NAME = DSC0
DCR_EP_SEQNO = 0
DCR_CHECK_PORT = 9741
DCR_EP_PORT = 5236
[GRP_DSC]
DCR_EP_NAME = DSC1
DCR_EP_SEQNO = 1
DCR_CHECK_PORT = 9742
DCR_EP_PORT = 5236
- 使用DMASMCMD工具初始化
一台执行即可
- 启动DMASMCMD工具
依次执行
create dcrdisk '/dev/raw/raw1' 'dcr'
create votedisk '/dev/raw/raw2' 'vote'
create asmdisk '/dev/raw/raw3' 'LOG0'
create asmdisk '/dev/raw/raw4' 'DATA0'
init dcrdisk '/dev/raw/raw1' from '/home/dmdba/dscdata/dmdcr_cfg.ini'identified by 'abcd'
init votedisk '/dev/raw/raw2' from '/home/dmdba/dscdata/dmdcr_cfg.ini'
或者将命令写入asmcmd.txt文件,执行dmasmcmd script_file=asmcmd.txt,只需在一台机器执行即可。
- 配置dmasvrmal.ini文件
准备DMASM的MAL配置文件(命名为dmasvrmal.ini),使用DMASM的所有节点都要配置,内容完全一样,保存到/data目录下
[MAL_INST1]
MAL_INST_NAME = ASM0
MAL_HOST = 192.168.9.67
MAL_PORT =7236
[MAL_INST2]
MAL_INST_NAME = ASM1
MAL_HOST = 192.168.9.68
MAL_PORT = 7237
- 配置dmdcr.ini文件
DMASM的两个节点分别配置dmdcr.ini,dmdcr_path相同,dmasvrmal.ini文件内容也相同,dmdcr_seqo分别为0和1。
节点一(192.168.1.7):
DMDCR_PATH = /dev/raw/raw1
DMDCR_MAL_PATH = /data/dmasvrmal.ini ##dmasmsvr使用的MAL配置文件路径
DMDCR_SEQNO = 0
##ASM重启参数,命令行方式启动
DMDCR_ASM_RESTART_INTERVAL = 0
DMDCR_ASM_STARTUP_CMD = /dmdata/bin/dmasmsvr dcr_ini=/data/dmdcr.ini
##DB重启参数,命令行方式启动
DMDCR_DB_RESTART_INTERVAL = 0
DMDCR_DB_STARTIP_CMD = /dmdata/bin/dmserver path=/data/dsc0_config/dm.ini dcr_ini=/data/dmdcr.ini
节点二(192.168.1.55):
DMDCR_PATH = /dev/raw/raw1
DMDCR_MAL_PATH = /data/dmasvrmal.ini ##dmasmsvr使用的MAL配置文件路径
DMDCR_SEQNO = 1
##ASM重启参数,命令行方式启动
DMDCR_ASM_RESTART_INTERVAL = 0
DMDCR_ASM_STARTUP_CMD = /dmdata//bin/dmasmsvr dcr_ini=/data/dmdcr.ini
##DB重启参数,命令行方式启动
DMDCR_DB_RESTART_INTERVAL = 0
DMDCR_DB_STARTUP_CMD = /dmdata/bin/dmserver path=/data/dsc1_config/dm.ini dcr_ini=/data/dmdcr.ini
- 启动DMCSS、DMASM
在两个节点上先后分别启动dmcss、dmasmsvr程序。
手动启动DMCSS命令
cd /dmdata/bin
./dmcss DCR_INI=/home/dmdba/dscdata/dmdcr.ini
手动启动dmasmsvr命令:
cd /dmdata/bin
./dmasmsvr DCR_INI=/data/dmdcr.ini
- 创建DMASM磁盘组
使用dmasmtool工具创建DMASM磁盘组
选择一个节点,启动dmasmtool工具
cd /dmdata/bin
./dmasmtool DCR_INI=/data/dmdcr.ini
##创建日志磁盘组
create diskgroup 'DMLOG' asmdisk '/dev/raw/raw3'
##创建数据磁盘组
create diskgroup 'DMDATA' asmdisk '/dev/raw/raw4'
创建完成后需要重启udev
systemctl restart systemd-udev-trigger.service
- 配置dminit.ini文件
vim /data/dminit.ini
db_name = dsc
system_path = +DMDATA/data
system = +DMDATA/data/dsc/system.dbf
system_size = 128
roll = +DMDATA/data/dsc/roll.dbfa
roll_size = 128
main = +DMDATA/data/dsc/main.dbf
main_size = 128
ctl_path = +DMDATA/data/dsc/dm.ctl
ctl_size = 8
log_size = 256
dcr_path = /dev/raw/raw1 ##dcr磁盘路径,目前不支持asm,只能是裸设备
dcr_seqno = 0
auto_overwrite = 1
[DSC0] ##inst_name跟dmdcr_cfg.ini中DB类型group中DCR_EP_NAME对应
config_path = /data/dsc0_config
port_num = 5236
mal_host = 192.168.9.67
mal_port = 9340
log_path = +DMLOG/log/dsc0_log01.log
log_path = +DMLOG/log/dsc0_log02.log
[DSC1] ##inst_name跟dmdcr_cfg.ini中DB类型group中DCR_EP_NAME对应
config_path = /data/dsc1_config
port_num = 5237
mal_host = 192.168.9.68
mal_port = 9341
log_path = +DMLOG/log/dsc1_log01.log
log_path = +DMLOG/log/dsc1_log02.log
10.初始化DB
使用dminit初始化DB环境
选择一个节点,启动dminit工具初始化数据库。dminit执行完成后,会在config_path目录(/data/dsc0_config和/data/dsc1_config)下生成配置文件dm.ini和dmmal.ini。
./dminit control=/data/dminit.ini
11.启动数据库服务
首先,将192.168.9.67机器上/data/dsc1_config拷贝到192.168.9.68机器相同目录下。然后,再分别启动dmserver即可完成DMDSC集群搭建。
scp -r dsc1_config/ dmdba@192.168.9.68:/data
节点一启动:
cd /dmdata/bin
./dmserver /data/dsc0_config/dm.ini dcr_ini=/data/dmdcr.ini
节点二启动:
Cd /dmdata/bin
./dmserver /data/dsc1_config/dm.ini dcr_ini=/data/dmdcr.ini
12.注册服务后台启动
先将两个节点,数据库服务,停掉
然后dmcss会话都停掉,两个节点,输入exit,回车
再将dmasmsvr停掉,两个节点,输入exit,回车
去bin目录下的service_template目录下
节点一:
cp DmCSSService ../DmCSSService_dsc0
vi DmCSSService_dsc0
修改DCR_INI_PATH="/data/dmdcr.ini"
节点二:
cp DmCSSService ../DmCSSService_dsc1
vi DmCSSService_dsc0
修改DCR_INI_PATH="/data/dmdcr.ini"
剩余的DmASMSvrService、DmService,也是如此操作
两个节点,返回配置文件目录,/data,修改dmdcr.ini
DMDCR_ASM_RESTART_INTERVAL = 10
DMDCR_DB_RESTART_INTERVAL = 30
然后返回bin目录,执行:
节点一:
./DmCSSService_dsc0 start
节点二:
./DmCSSService_dsc1 start
使用ps -ef | grep data,过1分钟后查看dmcss是否正常拉起dmasmsvr和dmserver,正常拉起即可。时间根据实例启动耗时而定,需耐心等待一会。
之后启动,就直接执行这个DmCSSService就行了,dmcss会自动拉起dmasmsvr和dmserver
13.配置DMCSSM监视器
任意一个节点即可
cd到配置文件目录 /data
vim dmcssm.ini
#和 dmdcr_cfg.ini 中的 DCR_OGUID 保持一致
CSSM_OGUID = 63635
#配置所有 CSS 的连接信息,
#和 dmdcr_cfg.ini 中 CSS 配置项的 DCR_EP_HOST 和 DCR_EP_PORT 保持一致
CSSM_CSS_IP = 192.168.9.67:9341 #心跳ip
CSSM_CSS_IP = 192.168.9.68:9343
CSSM_LOG_PATH =/data/log #监视器日志文件存放路径
CSSM_LOG_FILE_SIZE = 32 #每个日志文件最大 32M
CSSM_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间
启动监视器,查看实例情况
./dmcssm ini_path=/data/dmcssm.ini
执行show命令查看实例
14.集群启、停顺序
集群启动顺序:
节点一:./DmCSSService_dsc0 start
节点二:./DmCSSService_dsc1 start
./dmcssm ini_path=/data/dmcssm.ini
集群停止顺序:
执行exit退出监视器
节点一:./DmCSSService_dsc0 stop
节点二:./DmCSSService_dsc1 stop
更多详情前往:htpp://eco.dameng.com