DEM搭建及应用

一、达梦企业管理器 DEM

数据库运维监控系统可以为数据库稳定运行提供重要保障。如果可以建立起可靠的运维监控系统，对可能发生的灾难加以预警，就能迅速启动应急响应机制，排除系统故障，这对于保障系统稳定运行具有极大的实用价值。

达梦企业管理器（DM Enterprise Manager，简称为 DEM ）提供一个通过 Web 界面来监控、管理并维护 DM 数据库的集中式管理平台。数据库管理员可通过任意 Web 应用登录 DEM，从而对 DM 数据库进行管理和监控。 DEM 主要有集群部署、自动巡检、监控和告警等功能。DEM 由以下几个部分组成：

DEM 服务器：指 DEM 应用服务器，负责处理客户端工具功能逻辑并存储 dmagent 收集到的数据到 DEM 存储数据库，同时向客户端展示监控数据。

DEM 存储数据库：存储 DEM 的元数据和 dmagent 收集到的监控数据。

数据库实例：需要被管理监控的数据库实例。

数据库代理服务（dmagent）：部署在远程机器上的代理，DEM 通过 dmagent 访问远程主机，同时 dmagent 收集监控信息发送给 DEM。

DEM 系统架构图如下所示：

DEM 工具主要提供如下功能：

客户端工具。用户能够通过 DEM 工具来进行 DM 数据库的对象管理、状态监控、SQL 查询与调试。

监控与告警。本功能是 DEM 工具的核心功能。通过远程主机部署代理，能够实现对远程主机状态和远程主机上 DM 数据库实例状态的监控。DEM 监控功能不仅仅局限于单个数据库实例，还能够对数据库集群（MPP、RAC、数据守护等）进行监控和管理。

系统管理。DEM 工具提供了工具本身的系统配置与权限管理，方便不同用户同时使用工具，也可限制非 admin 用户的权限。

适用范围：该工具适用于监控 DM7 数据库和 DM8 数据库。

二、DEM 部署

2.1环境准备

1、硬件环境

（1）服务器：实体机或虚拟机；

（2）操作系统：Windows 或 Linux 操作系统均可；

（3）内存：建议提供 2G 以上内存；

（4）其他：由于 DEM 会从被监视的数据库中获取信息到后台数据库，因此，建议生产环境中 DEM 数据的存储目录应不小于 100GB；其余的硬件要求与数据库单机部署一致。

2、软件环境

（1）DEM WAR 包：位于达梦安装目录下 “../web/dem.war”；

（2）Tomcat：自备，要求与部署的系统环境相匹配；

（3）JAVA 1.8：DEM 和 dmagent 所在机器需要配置 JAVA 环境，JAVA 版本必须为 JAVA 1.8。若系统中不带 jdk 环境可以在环境变量中指定数据库中的 jdk 目录即可，如下所示：

[root@localhost ~]# cat /etc/profile

export JAVA_HOME=/home/dmdba/dm/dmdbms/jdk

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

（4）达梦数据库：为 DEM 的后台数据库，需保证 DEM 所在机器能访问达梦数据库。

在部署 dmagent 之前，需设置 DEM 和 dmagent 所在服务器主机的时间同步。正式环境建议使用 ntp 配置时间同步。如下以 ”10.10.10.10“ 为 ntp 服务器为例，设置定时任务：

[root@localhost ~]# crontab -l

# Time sync

0,10,20,30,40,50 * * * * /root/sync_time.sh

[root@localhost ~]# cat /root/sync_time.sh

#!/bin/bash

. /etc/profile

. /root/.bash_profile

ntpdate 10.10.10.10 ; hwclock –w

2.2初始化后台数据库

1、创建后台数据库

创建一个DM数据库作为DEM后台数据库，初始化参数不做要求，默认即可，数据库dm.ini参数配置进行优化，推荐配置如下：

MEMORY_POOL          =  200

BUFFER                  =  1000

KEEP                    =  64

SORT_BUF_SIZE          =  50

2、执行初始化脚本

在创建的后台数据库中用SYSDBA（或管理员用户）执行SQL脚本dem_init.sql，脚本位于达梦安装目录下../web/dem_init.sql（此SQL脚本编码为UTF-8，若使用disql执行SQL脚本，请先设置set CHAR_CODE UTF8）。执行完脚本后，在后台数据库中会生成一个DEM的模式，存放DEM运行所需要的表和视图。

（3）备份策略

可根据实际项目需求确定是否有必要设置后台数据库的备份，以及决定备份策略。

2.3配置Tomcat

1、解压tomcat包。安装完tomcat之后，会生成以下目录：

 

2、检查JAVA环境。启动之前需要确定配置JAVA 1.8及以上版本的运行环境，运行java –version查看JAVA版本。

3、修改tomcat配置

（1）在conf/server.xml配置文件中<Connector port="8080" protocol="HTTP/1.1"... 位置处添加属性字段 maxPostSize="-1"：

<Connector port="8080" protocol="HTTP/1.1" maxPostSize="-1"

               connectionTimeout="20000"

              redirectPort="8443" />

 

（2）在bin/catalina.sh配置文件中，根据数据库的安装路径，修改/新增jvm启动参数：

Linux：bin/catalina.sh -> JAVA_OPTS="-server -Xms256m -Xmx1024m -Djava.library.path=/home/dmdba/dmdbms/bin"

Windows：bin/catalina.bat -> set java_opts= -server -Xms40m -Xmx1024m -Djava.library.path=c:\dmdbms\bin

2.4 DEM连接配置

1、解压dem.war包

将dem.war包放置在Tomcat的webapps目录下，启动Tomcat，会自动解压war包生成DEM目录。在bin目录下执行脚本启动Tomcat：

2、配置后台数据库连接

配置后台数据库的连接信息：ip、port、用户名、密码、连接池大小、SSL登录信息等，在文件dem/WEB-INF/db.xml配置；

 

如果需要SSL安全方式连接后台数据库，要求配置SSLDir和SSLPassword：默认在WEB-INF/sslDir目录存有密钥对，WEB-INF/db.xml配置客户端连接使用的密钥文件(SSLDir)为WEB-INF/sslDir/client_ssl/SYSDBA，密码(SSLPassword)为空，对应WEB-INF/db.xml配置的登录用户SYSDBA，此时，只需拷贝WEB-INF/sslDir/server_ssl到后台数据库执行码目录。

db.xml中Password和SSLPassword支持设置自定义加解密引擎对密码进行加解密处理，通过属性engine指定加解密引擎类路径。自定义加解密引擎需要实现demsdk.jar中提供的com.dameng.dem.server.util.IEncryptEngine接口。将自定义加解密引擎打包成jar文件放入WEB-INF\lib目录下。

demsdk.jar提供了一个默认的加解密引擎：com.dameng.dem.server.util.DefaultEncryptEngine，使用默认加解密引擎配置如下：

<Password engine="com.dameng.dem.server.util.DefaultEncryptEngine">通过DefaultEncryptEngine加密后的密码</Password>

3、配置DEM日志级别

在tomcat的webapps/dem/WEB-INF目录下，log4j.xml文件控制着日志级别。LOG_LEVEL参数控制日志的显示信息，LOG_MAX_SIZE，LOG_MAX_COUNT，LOG_PRESERVE_DURATION这3个参数动态组合控制日志量和日志保存的最大大小，超过这个最大大小的日志会被删除。

日志最大大小= LOG_MAX_SIZE × LOG_MAX_COUNT × LOG_PRESERVE_DURATION；

在DEM调试和查找问题时，LOG_LEVEL可以使用DEBUG或者ALL参数，生产环境平时建议使用ERROR级别。根据项目的实际需要和磁盘的可用大小，调整LOG_MAX_SIZE，LOG_MAX_COUNT，LOG_PRESERVE_DURATION这3个参数的大小，避免出现磁盘爆盘的现象。此配置文件重启Tomcat之后才能生效。

重启生效。重新启动Tomcat使配置生效。

三、部署dmagent

部署dmagent之前，需要确定服务器配置JAVA 1.8及以上版本的运行时环境，运行java –version查看JAVA版本，核对dmagent机器和dem运行机器的时间一致。

（1）获取dmagent。dmagent获取方式：

达梦数据库安装目录的 tool 下存有 dmagent；

（2）拷贝 dmagent 到要部署的机器上。

（3）修改dmagent配置。配置 dmagent 目录下的 agent.ini：

center_url  =  http://192.168.23.66:8080/dem    #dem所在机器的地址  

（4）配置dmagent日志级别。同样是修改dmagent 目录下的 log4j.xml文件，修改方法和配置与dem端一样。

（5）启动dmagent。

Linux：./start.sh –d  agent.ini

Windows：start.bat –d  agent.ini

（6）补充

客户端工具显示。若有些项目上要求不显示manager客户端工具，则在tomcat/bin/catalina.sh文件中追加属性字段JAVA_OPTS=”…… -Drun_mode=DMA”，则不会显示实例连接，如下图：

 

四、WEB界面管理配置

本机ip为192.168.23.66，开启浏览器访问url（http://192.168.23.66:8080/dem），登录（admin/888888）

4.1、主机配置

当dmagent开启monitor参数之后（默认开启），自动会将主机信息添加到DEM主机监控界面，此时主机界面还是有个感叹号，点击智能运维--->资源监控--->更多--->配置网络，进入内网网络确认界面，若无问题，点击刷新和保存按钮，即确认信息，可消除感叹号。

将鼠标放在主机信息的IP上，可显示监控主机的基本信息，如下：

点击操作可以查看系统监控：

 

 

4.2、数据库配置

路径：资源监控--->数据库--->添加。

添加选项给出两个可选项：单实例和集群，选择集群之后，集群类型下拉框给出目前达梦拥有的所有集群类型。

 

在连接数据库时，需要输入监控数据库的用户名和密码。生产环境中不要使用SYSDBA用户连接，建议创建独立的DEM用户，给予相应表和视图的查询权限，并限制最大会话数为50，会话空闲期为10分钟。监控用户不要配置any等过大权限。以test用户为例：

--授予DEM监控数据库最小连接权限：

create user "TEST" identified by "******" limit session_per_user 50, connect_idle_time 10;

grant "PUBLIC" to "TEST";

grant SELECT TABLE,SELECT VIEW,SELECT SEQUENCE to "TEST";

点击操作查看具体监控指标：

 

4.3、DEM系统管理

1、用户管理

DEM配置有邮箱告警功能，当前默认设置为admin@dameng.com邮箱，此邮箱为公司邮箱。若启用该功能，请务必修改邮箱地址。

2、系统配置

DEM系统配置常用板块为采集数据管理和参数配置，服务人员可根据现场实际需求对DEM监控设置进行调整。

采集数据管理：该功能可以查看DEM监控过程中收集到的数据库信息表，服务人员可根据现场需求，设置数据保留时间。需要对各类历史监控表设置数据保留时间，以防止占用数据空间过大。

 

相关参数配置：为提高监控效率，可调整监控频率配置参数。

对于内容较为稳定的监控项，可适当增大信息收集频率，例如gather_mf_info_freq（主机基本信息收集频率）和gather_db_info_freq（数据库基本信息收集频率），建议可以设置为86400，即每天监控一次。

对生产系统影响较大的监控项，在确定生产库健康运行后，可适当调大监控频率或关闭，下表显示了可能会影响生产效率的监控参数，进行关闭：

参数名称	参数含义	建议
gather_db_sqlslow_freq	收集数据库慢SQL信息的频率	关闭
gather_db_sqlslow_time	监控中对于慢SQL的界定时间	关闭
gather_db_tablespace_freq	收集数据库表空间信息的频率	关闭

 对于以上监控项，请实施人员务必根据实际项目情况进行调整，以免影响生产效率。例如对生产库慢SQL的监控，DEM提供了两个监控参数gather_db_sqlslow_freq和gather_db_sqlslow_time，可根据实际情况适当增大慢SQL界定时间或延长慢SQL信息收集频率。

五、注意事项

（1）dem连接生产库的用户必须要进行限定；

（2）告警邮箱地址必须进行修改；

（3）系统配置必须根据现场业务情况进行相应调整或关闭，若有参数经调整后仍对生产影响较大，建议直接关闭。

更多相关资料请参考达梦云适配技术社区

达梦数据库 - 新一代大型通用关系型数据库 | 达梦在线服务平台