DM数据库学习之路(十五）DEM部署DM8DataWatch主备集群

于 2024-02-21 14:52:40 发布
阅读量1.4k 收藏 36
点赞数 27
文章标签： 数据库 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44460848/article/details/136211490
版权

  1. DEM概述

DEM 以 Web 应用的方式提供数据库管理、监控和维护的功能，实现远程管理和监控数据库实例，并且不局限于单个数据库实例的管理和监控，也能够对数据库集群（DM MPP、DMDSC 以及数据守护）进行管理和监控。

    1. 系统架构

  1. 管理对象层

管理对象层由所需监控的对象组成，包括需要监控的主机、主机上的数据库、以及运行在主机上的一个dmagent。每个运行在主机上的 dmagent负责收集自己的主机以及主机上运行的所有数据库的运行数据信息。DEM 通过 dmagent 访问和操作主机以及主机上的数据库实例。

  1. 应用层

应用处理模块包括存储数据库、数据存/取模块、监控信息展示模块、告警模块、系统管理模块以及客户端工具六大模块。

  1. 存储数据库

存储数据库主要完成监控数据的存储。

  1. 数据存/取模块

数据存/取模块负责将各个主机上的代理服务发送过来的监控数据存入数据库，以及从数据库中检索数据给其他模块提供支持。

  1. 监控信息展示模块

监控信息展示模块负责组织整理监控信息，以表格或图形等多种便于用户查看的样式提供信息的展示，此外还对同属于一个集群系统的数据库进行分组管理和数据统计。

  1. 告警模块

告警模块负责提供告警策略的配置、对异常状态的检测以及告警信息的发布。

  1. 系统管理模块

系统管理模块负责对系统的统一管理，包括各种监控频率的控制、用户管理、权限管理、安全审计以及日志记录等。

  1. 客户端工具

客户端工具包括管理工具 Manager、数据迁移工具以及集群的部署工具等工具。

  1. 访问层

访问层为终端用户的远程系统访问，系统采用了 B/S 架构，用户的访问主要通过基于http 协议的浏览器请求来完成。

    1. DE功能介绍

DEM 所提供的功能如下：

  1. 对象管理
  2. 数据迁移
  3. 集群管理
  4. 联机大盘
  5. 联机巡检
  6. 批量执行
  7. 升级管理
  8. 资源监控
  9. 告警配置
  10. 自动巡检
  11. 备份调度
  12. 自定义监控
  13. 资源包
  14. 系统管理

  1. DEM部署

    1. 安装DM8 SOFT

su - dmdba

$ /mnt/DMInstall.bin -i

    1. 初始化实例

$/dm8/bin/dminit path=/dm8/data EXTENT_SIZE=16 PAGE_SIZE=32 case_sensitive=1 charset=1 log_size=2048 db_name=DAMENG instance_name=DMSERVER PORT_NUM=5236 LENGTH_IN_CHAR=1 BLANK_PAD_MODE=0 SYSDBA_PWD="SYSDBA2023" SYSAUDITOR_PWD="SYSDBA2023"

    1. 配置环境变量

export DM_HOME=/dm8

export PATH=$DM_HOME/bin:$PATH:$DM_HOME/tool:$PATH:HOME/bin:/usr/local/bin

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$DM_HOME/bin

export PATH=/usr/bin/java:$PATH

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0

export PATH=$JAVA_HOME/bin:$PATH

    1. 修改dm.ini参数配置

MEMORY_POOL          = 1000

BUFFER          = 32000

KEEP          = 64

SORT_BUF_SIZE           = 100

    1. 构建元数据

运行dem_init.sql脚本，运行后会在元数据库中创建DEM模式及相关的元数据

SQL> set char_code utf8;

SQL> start dem_init.sql

    1. 安装tomcat

# chown -R dmdba:dinstall /opt/apache-tomcat-9.0.37/

# chmod -R 775 /opt/apache-tomcat-9.0.37/

# vi /opt/apache-tomcat-9.0.37/conf/server.xml

# 找到Connector port="8080"，添加maxPostSize="-1"

    <Connector port="8080" protocol="HTTP/1.1"

               connectionTimeout="20000"

               redirectPort="8443"

maxPostSize="-1" />

修改jvm启动参数

Linux：

vi /opt/apache-tomcat-9.0.37/bin/catalina.sh中添加：

JAVA_OPTS="-server -Xms1024m -Xmx2048m -Djava.library.path=/dm8/bin"

    1. 安装DEM

将 dem.war 放到 tomcat 的 webapps 目录下

su - dmdba

$ cp /soft/dem/dem.war /opt/apache-tomcat-9.0.37/webapps

$ unzip -oq dem.war -d dem

根据实际情况修改数据库版本、数据库IP地址、数据库端口号、数据库用户名及密码，修改后如下：

$ vi /opt/apache-tomcat-9.0.37/webapps/dem/WEB-INF/db.xml

<?xml version="1.0" encoding="UTF-8"?>

<ConnectPool>

        <Server>84.0.191.5</Server>

        <Port>5236</Port>

        <User>SYSDBA</User>

        <Password>SYSDBA2023</Password>

        <InitPoolSize>5</InitPoolSize>

        <CorePoolSize>10</CorePoolSize>

        <MaxPoolSize>500</MaxPoolSize>

        <KeepAliveTime>60</KeepAliveTime>

        <DbDriver></DbDriver>

        <DbTestStatement>select 1</DbTestStatement>

        <SSLDir>../sslDir/client_ssl/SYSDBA</SSLDir>

        <SSLPassword></SSLPassword>

</ConnectPool>

$ cd /opt/apache-tomcat-9.0.37/bin/

$ chmod 775 *.sh

    1. 启动tomcat

## 注意防火墙关闭

$ cd /opt/apache-tomcat-9.0.37/bin

$ ./startup.sh

    1. 登录DEM

打开浏览器输入

http://84.0.191.5:8080/dem

默认用户密码是admin/888888，登录后可根据需要自行修改。

  1. DEM部署主备集群

    1. 安装agent

在要进行监控和管理的机器或数据库所在机器上部署 dmagent的运行需要依赖JAVA环境，因此部署dmagent前需要配置JAVA环境，JAVA版本必须为JAVA1.8。

      1. 配置代理

监控数据库主机或数据库需要在被监控的服务器上启动dmagent服务。

注意：要求agent和dem所运行主机时间一致，尽量不要有差距，否则可能无法正常监控

vi /opt/dmagent7.15/agent.ini

center_url     = http://84.0.191.5:8080/dem   #DEM 访问地址

gather_enable=true     #开启收集监控数据功能，默认打开

service_enable=true    #开启远程调用功能，部署时需要打开

      1. 配置环境变量

vi .bash_profile

export JAVA_HOME=/opt/jdk1.8.0_121

export PATH=$JAVA_HOME/bin:$PATH

. .bash_profile

      1. 启动代理

若要部署集群并创建系统服务，在Linux（Unix）环境下应以root用户运行dmagent，在 Windows 环境下应以 Administrator 用户运行 dmagent。

#Linux

# ./start.sh -d  /opt/dmagent7.15/agent.ini

Starting dmagent.....

dmagent(pid: 59684) started successfully.

    1. 安装主备集群

      1. 集群部署规划

        1. 集群主机规划

类型

主机名

业务IP

数据库名

实例名

操作系统

主库

dm8db01

84.0.191.50

DAMENG

EP01

Kylin-Server-V10-SP3

备库

dm8db02

84.0.191.51

DAMENG

EP02

Kylin-Server-V10-SP3

监控

dm8monitor

10.10.10.52

Kylin-Server-V10-SP3

        1. 集群端口规划

实例名

PORT_NUM

MAL_INST_DW_PORT

MAL_HOST

MAL_PORT

MAL_DW_PORT

EP01

7236

7436

10.10.10.50

7336

7536

EP02

7236

7436

10.10.10.51

7336

7536

      1. 主备集群部署

 

      1. 启动主库守护进程

$ cd /dm8/dmwatcher4_0/bin

$./DmWatcherServiceEP01.sh start

      1. 启动备库守护进程

$ cd /dm8/dmwatcher4_0/bin

$ ./DmWatcherServiceEP02.sh  start

      1. 启动监视器

$ /dm8/dmwatcher4_0/bin/dmmonitor /dm8/dmwatcher4_0/dmmonitor/dmmonitor.ini

    1. 查看主备库配置参数

      1. 主库配置参数

        1. dm.ini配置信息

$ cat /dm8/dmwatcher4_0/EP01/DAMENG/dm.ini

INSTANCE_NAME = EP01          #实例名

PORT_NUM = 7236               #数据库实例监听端口

DW_INACTIVE_INTERVAL = 60     #接收守护进程消息超时时间

ALTER_MODE_STATUS = 0         #不允许手工方式修改实例模式/状态/OGUID

ENABLE_OFFLINE_TS = 2         #不允许备库OFFLINE表空间

MAL_INI = 1                   #打开MAL系统

ARCH_INI = 1                  #打开归档配置

RLOG_SEND_APPLY_MON = 64      #统计最近64次的日志发送信息

        1. dmmal.ini配置信息

$ cat /dm8/dmwatcher4_0/EP01/DAMENG/dmmal.ini

MAL_CHECK_INTERVAL= 30

MAL_CONN_FAIL_INTERVAL= 10

MAL_LOGIN_TIMEOUT= 15

MAL_BUF_SIZE= 100

MAL_SYS_BUF_SIZE= 0

MAL_VPOOL_SIZE= 128

MAL_COMPRESS_LEVEL= 0

[MAL_INST1]

MAL_INST_NAME= EP01

MAL_HOST= 84.0.191.50

MAL_PORT= 7336

MAL_INST_HOST= 84.0.191.50

MAL_INST_PORT= 7236

MAL_DW_PORT= 7536

MAL_INST_DW_PORT= 7436

[MAL_INST2]

MAL_INST_NAME= EP02

MAL_HOST= 84.0.191.51

MAL_PORT= 7336

MAL_INST_HOST= 84.0.191.51

MAL_INST_PORT= 7236

MAL_DW_PORT= 7536

MAL_INST_DW_PORT= 7436

        1. dmarch.ini配置信息

$ cat /dm8/dmwatcher4_0/EP01/DAMENG/dmarch.ini

ARCH_WAIT_APPLY= 0

ARCH_RESERVE_TIME= 0

[ARCHIVE_LOCAL1]

ARCH_TYPE= LOCAL

ARCH_DEST= /dm8/dmwatcher4_0/EP01/DAMENG/arch

ARCH_FILE_SIZE= 128

ARCH_SPACE_LIMIT= 0

[ARCHIVE_REALTIME1]

ARCH_TYPE= REALTIME

ARCH_DEST= EP02

        1. dmwatcher.ini配置信息

$cat /dm8/dmwatcher4_0/dmwatcher/EP01/dmwatcher.ini

[GRP]

DW_TYPE= GLOBAL

DW_MODE= MANUAL

DW_ERROR_TIME= 15

INST_RECOVER_TIME= 60

INST_ERROR_TIME= 15

INST_OGUID= 1447561796

INST_INI= /dm8/dmwatcher4_0/EP01/DAMENG/dm.ini

INST_AUTO_RESTART= 1

INST_STARTUP_CMD= /dm8/dmwatcher4_0/bin/DmServiceEP01.sh start

INST_SERVICE_IP_CHECK= 0

RLOG_SEND_THRESHOLD= 0

RLOG_APPLY_THRESHOLD= 0

      1. 备库配置参数

        1. dm.ini配置信息

$ cat /dm8/dmwatcher4_0/EP02/DAMENG/dm.ini

INSTANCE_NAME = EP02          #实例名

PORT_NUM = 7236               #数据库实例监听端口

DW_INACTIVE_INTERVAL = 60     #接收守护进程消息超时时间

ALTER_MODE_STATUS = 0         #不允许手工方式修改实例模式/状态/OGUID

ENABLE_OFFLINE_TS = 2         #不允许备库OFFLINE表空间

MAL_INI = 1                   #打开MAL系统

ARCH_INI = 1                  #打开归档配置

RLOG_SEND_APPLY_MON = 64      #统计最近64次的日志发送信息

        1. dmmal.ini配置信息

$ cat /dm8/dmwatcher4_0/EP02/DAMENG/dmmal.ini

MAL_CHECK_INTERVAL= 30

MAL_CONN_FAIL_INTERVAL= 10

MAL_LOGIN_TIMEOUT= 15

MAL_BUF_SIZE= 100

MAL_SYS_BUF_SIZE= 0

MAL_VPOOL_SIZE= 128

MAL_COMPRESS_LEVEL= 0

[MAL_INST1]

MAL_INST_NAME= EP01

MAL_HOST= 84.0.191.50

MAL_PORT= 7336

MAL_INST_HOST= 84.0.191.50

MAL_INST_PORT= 7236

MAL_DW_PORT= 7536

MAL_INST_DW_PORT= 7436

[MAL_INST2]

MAL_INST_NAME= EP02

MAL_HOST= 84.0.191.51

MAL_PORT= 7336

MAL_INST_HOST= 84.0.191.51

MAL_INST_PORT= 7236

MAL_DW_PORT= 7536

MAL_INST_DW_PORT= 7436

        1. dmarch.ini配置信息

$ cat /dm8/dmwatcher4_0/EP02/DAMENG/dmarch.ini

ARCH_WAIT_APPLY= 0

ARCH_RESERVE_TIME= 0

[ARCHIVE_LOCAL1]

ARCH_TYPE= LOCAL

ARCH_DEST= /dm8/dmwatcher4_0/EP02/DAMENG/arch

ARCH_FILE_SIZE= 128

ARCH_SPACE_LIMIT= 0

[ARCHIVE_REALTIME1]

ARCH_TYPE= REALTIME

ARCH_DEST= EP01

        1. dmwatcher.ini配置信息

$cat /dm8/dmwatcher4_0/dmwatcher/EP02/dmwatcher.ini

[GRP]

DW_TYPE= GLOBAL

DW_MODE= MANUAL

DW_ERROR_TIME= 15

INST_RECOVER_TIME= 60

INST_ERROR_TIME= 15

INST_OGUID= 1447561796

INST_INI= /dm8/dmwatcher4_0/EP02/DAMENG/dm.ini

INST_AUTO_RESTART= 1

INST_STARTUP_CMD= /dm8/dmwatcher4_0/bin/DmServiceEP02.sh start

INST_SERVICE_IP_CHECK= 0

RLOG_SEND_THRESHOLD= 0

RLOG_APPLY_THRESHOLD= 0

花开花落别来无恙
关注
  • 27
    点赞
  • 踩
  • 36
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
DM8数据库单机安装部署
weixin_38840521的博客
04-19 374
一 安装前的设置 1 创建用户和组 groupadd dinstall useradd -g dinstall -m -d /home/dmdba -s /bin/bash dmdba passwd dmdba ****** ****** 2 创建安装数据目录并赋权 mkdir-p /data/dmdata chown -R dmdba:dinstall /data/dmdata 3 修改系统参数 vi /etc/sysctl.conf k...
DM数据库学习之路(三）DM8数据库单机图形化部署&命令行部署&脚本部署
weixin_44460848的博客
01-08 1155
安全版拥有企业版的所有功能，并重点加强了其安全特性，引入强制访问控制功能，采用数据库管理员(DBA)、数据库审计员(AUDITOR)、数据库安全员(SSO)、数据库对象操作员(SYSDBO)四权分立安全机制，支持 KERBEROS、操作系统用户等多种身份鉴别与验证，支持透明、半透明等存储加密方式以及审计控制、通信加密等辅助安全手段，使 DM 安全级别达到国家信息技术安全评估准则 ISO/IEC 15408 EAL4+ 级水平，适合于对安全要求较高的政府或企业选用。对于不同的系统平台，有不同的安装步骤。
DM数据库学习之路(七）DM8实时主备集群+异步备库部署及测试
最新发布
weixin_44460848的博客
01-17 1027
异步备库支持多源配置，目的是在实时或即时主备环境中，当主备库切换或者主库故障时，备库接管以后可以继续向同一个异步备库同步数据，因此如果主库配置了异步备库，在所有备库上也需要配置相同的异步备库，备库只有在切换为主库时才会向其同步数据。
DM8安装部署与使用
weixin_40607997的博客
03-04 574
1. 创建用户 1 # 创建安装用户组 dinstall。 groupadd ‐g 12349 dinstall 2 # 创建安装用户 dmdba。 useradd ‐u 12345 ‐g dinstall ‐m ‐d /home/dmdba ‐s /bin/bash dmdba 3 # 初始化用户密码。 ‐‐> dm~1qaz@WSX passwd dmdba # 之后通过系统提示进行密码设置。 2. ulimit 设置 1 # /etc/security/limits.conf
达梦数据库--银河麒麟v10搭建DM8主备集群
disclipline的博客
04-28 1354
达梦数据库--银河麒麟v10搭建DM8主备集群
达梦数据库通过DEM工具搭建主备集群
10-09
达梦数据库通过DEM工具搭建主备集群 达梦数据库是中国自主知识产权的关系数据库管理系统，DEM 是达梦数据库的管理工具。通过 DEM 工具，可以实现达梦数据库的主备集群搭建，实现数据库的高可用性和灾难恢复。 达梦...
达梦数据库dm8.1.1.88doc手册
12-16
达梦数据库doc手册，DEM部署集群文档，dm8disql使用手册，dm8安装手册，dm8程序员手册，dm8共享存储集群，等等
DemGdal.rar_DEM gdal_GDAL 影像_expression4dm_gdal读取Dem数据_内涝
07-13
使用Gdal读取DEM地震前后影像高程，并计算地震前后高程差，绘制地形变化
DM8DEM1-3-62-2023.09.27-203585-20067-SEC安装部署手册
11-13
DM8DEM1-3-62-2023.09.27-203585-20067-SEC安装部署手册-dm8达梦数据库
达梦数据库管理系统DM8白皮书.pdf
10-15
DM8是达梦公司基于对未来的技术发展方向和用户需求，历经五年研发的新一代数据库产品。 DM数据库技术架构 DM8的技术架构基于对未来的技术发展方向和用户需求，旨在提供技术先进、性能强悍、扩展灵活、功能全面、...
Redis数据库搭建集群（集群概念、redis集群介绍、搭建集群操作、Python与redis集群交互）
IT之一小佬的博客
02-16 7605
Redis数据库搭建集群（集群概念、redis集群介绍、搭建集群操作、Python与redis集群交互）
主备集群的搭建过程
weixin_66665410的博客
03-10 162
主库、备库中，该文件只是在[ARCHIVE_REALTIME]ARCH_DEST参数，写对方的服务名，在[ARCHIVE_LOCAL1]ARCH_DEST 写本机的的归档路径。如果在配置归档配置文件 dmarch.ini 时发现有数据时，需要将其原来数据清空或者将此文件移为备份文件，新建一个dmarch.ini 配置文件填上主备搭建需要的数据。通过部署实时主备系统，可以及时检测并处理各种硬件故障、数据库实例异常，在主库出现问题时，自动转为备库，确保持续提供数据库服务。
DM8主备集群搭建
qq_53763255的博客
11-09 69
软硬件配置情况IP192.168.124.129（主机）192.168.124.130（备机）192.168.124.129（单机、确认监视器）操作系统CentOS Linux release 7.6.1810 (Core)CPU Intel(R) Core(TM) i7-9750H CPU @ 2.60GHz存储本地磁盘60GB /dmdataDD测速，32k，平均4M/S，已经向用户提出磁盘速度太慢内存4G网卡带宽100M数据库版本DM Database Server 64 V88.1安全版DB Ver
DM8 实时主备的安装部署
weixin_47469872的博客
09-05 83
本次实时主备的集群是以最简单的一主机一备机一监视器的方式进行，在部署前需要做好前提工作有如下。主备使用 dmdba 身份在实例目录下新建配置文件 dmwatcher.ini。主备使用 dmdba 身份在实例目录下新建配置文件 dmarch.ini。主备使用 dmdba 身份在实例目录下新建配置文件 dmmal.ini。主备使用 dmdba 身份对 dm.ini 文件进行以下修改。主备均使用 dmdba 身份在 bin 目录执行以下命令。主备使用 dmdba 身份在 bin 目录执行以下命令。
达梦数据库：DM8搭建数据守护（实时主备）集群（非手动切换）
Sakura的博客
08-11 976
数据守护集群和读写分离集群的配置上，只有归档模式不同，其他配置步骤相同。 启动过程：开主机实例——开主机守护进程——开备机实例——开备机守护进程——打开确认监视器 关闭过程：关闭确认监视器——关闭备机守护进程——关闭主机守护进程——关闭主机实例服务——关闭备机实例服务 环境准备，测'试环境下把确认监视器放在了备机上。主备机分别装好了数h据库，但是还没有初始化 应用 Ip prot 主机DM22 192...
DM8 主备集群安装部署
2301_78312656的博客
07-12 119
检查/etc/systemd/logind.conf文件RemoveIPC参数，设置为NO，重启服systemctl daemon-reload;#IP 对应 dmmal.ini 中的 MAL_HOST，PORT 对应 dmmal.ini 中的 MAL_DW_PORT。创建用户：useradd -g dinstall -m -d /home/dmdba -s /bin/bash dmdba。MON_LOG_PATH = /opt/dmdbms/dmdbms/log #监视器日志文件存放路径。
DM8数据守护之实时主备集群部署
weixin_48195231的博客
04-21 121
达梦数据库数据守护之实时主备集群搭建
高级DBA手把手教你达梦8数据库搭建一主一从双机热备守护Data Watch集群搭建实战windows版本
nasen512的博客
10-11 1326
达梦8搭建一主一从双机热备守护集群windows环境操作详细实施方法很细
DM8达梦数据库的安装、实例初始化、数据库启停、表、视图、索引、模式的概念及理解
weixin_46680070的博客
08-18 2265
达梦数据库管理系统(以下简称 DM）是基于客户/服务器方式的数据库管理系统，可以安装在多种计算机操作系统平台上，典型的操作系统有：Windows(Windows2000/2003/XP/Vista/7/8/10/Server 等)、Linux、HP-UNIX、Solaris、FreeBSD 和 AIX 等。对于不同的系统平台，有不同的安装步骤。在安装 DM8 之前，请用户仔细阅读DM8安装手册，手册包含了重要的安装指导信息。
docker dm8 dem
09-07
要在Docker中安装dm8，可以按照以下步骤进行操作： 1. 首先，在根目录下创建一个名为dm8的文件夹，用于存放下载的Docker安装包。可以使用命令：mkdir /dm8。 2. 切换到/dm8目录，可以使用命令：cd /dm8。 3. 下载...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值