DM8数据复制

简介:达梦数据复制(DATA REPLICATION)是一个分担系统访问压力、加快异地访问响应速度、提高数据可靠性的解决方案。功能:将一个服务器实例上的数据变更复制到另外的服务器实例。应用场景:可以用于解决大、中型应用中出现的因来自不同地域、不同部门、不同类型的数据访问请求导致数据库服务器超负荷运行、网络阻塞、远程用户的数据响应迟缓的问题。

一.基本概念

1.主服务器
发起复制操作的服务器,称为主服务器。
2.从服务器
接收主服务器发送的数据并进行复制的服务器,称为从服务器。
3.复制服务器(RPS)
在数据复制环境中,负责配置复制环境,定义复制关系的服务器。RPS有且仅有一台,它只负责配置和监控,并不参与到复制过程中。
4.复制节点
涉及到复制的服务器,主服务和从服务的统称。一个节点既可以是主服务器也可以是从服务器。
5.复制关系
复制关系指明主服务器和从服务器以何种方式进行复制。按照复制的方式,复制关系分为同步复制和异步复制。
6.同步复制关系
主服务器数据更新立即复制到从服务器。
7.异步复制关系
主服务器和从服务器在某段时间内数据可能是不同的,主服务器数据更新不会立刻同步到从服务器,而是在经过一段时间后才进行复制。异步复制的同步时机由指定的定时器确定。
8.逻辑日志
记录产生数据变化的逻辑操作的日志。记录的逻辑操作包括INSERT、UPDATE、DELETE、TRUNCATE、ROLLBACK和COMMIT等。
9.复制源对象
主服务器上作为复制数据源的对象,可以是库、模式或表。在该对象上的操作都会被记录成逻辑日志,发送给从服务器进行复制操作。
10.复制目标对象
从服务器上作为复制数据目标的对象。从服务器接收到逻辑日志后,将复制源对象的变化复制到复制目标对象中。
11.复制对象映射
一对复制源对象和复制目标对象构成一个复制对象映射。构成映射的源对象和目标对象必须是同一类型的对象。根据对象的类型,复制映射分为库级、模式级和表级三个级别。其中表级要求源表和目标表结构完全一致,库级和模式级没有要求。库级和模式级复制映射会将其DDL也进行复制。复制映射包括只读模式和非只读模式。对于只读模式的映射,映射的目的表禁止用户更新。
12.复制组
一组逻辑相关的复制关系可以构造成为复制组。通过复制组,可以构造出一对多复制、多对一复制、级联复制、对称复制、循环复制等复杂的逻辑复制环境。

二.规划和配置

在这里插入图片描述
在这里插入图片描述
dmmal.ini文件(三个服务器一样,放在/home/dmdba/dmdbms/data/DAMENG下)

MAL_CHECK_INTERVAL  = 5
MAL_CONN_FAIL_INTERVAL = 5
[MAL_INST1]
MAL_INST_NAME		= DM
MAL_HOST		 = 192.168.100.104
MAL_PORT			= 5241
MAL_INST_PORT      = 5236 
MAL_INST_HOST		= 192.168.100.104

[MAL_INST2]
MAL_INST_NAME		= DM01
MAL_HOST			= 192.168.100.105
MAL_PORT			= 5242
MAL_INST_PORT      = 5236 
MAL_INST_HOST		= 192.168.100.105

[MAL_INST3] 
MAL_INST_NAME		= DM02
MAL_HOST			= 192.168.100.106
MAL_PORT			= 5243
MAL_INST_PORT      = 5236 
MAL_INST_HOST		= 192.168.100.106

三.创建复制组

1.右键创建数据复制环境
在这里插入图片描述

2.右键新建复制组
在这里插入图片描述

3.填写名字确定
在这里插入图片描述

4.在创建的复制组右键新建复制
在这里插入图片描述

5.填写主从实例名称和归档路径
在这里插入图片描述

6.新建复制表映射
在这里插入图片描述

7.填写主服务器的模式名表名和从服务器对应的模式名表名,选择只读
在这里插入图片描述

8.点击确定后成功创建从192.168.100.105 SYSDBA下TEST1表到192.168.100.106 USER1下TEST2表的复制表映射
在这里插入图片描述

四.只读测试

1.Insert对比
192.168.100.105 SYSDBA下TEST1添加一行数据
在这里插入图片描述

192.168.100.106 USER1下TEST2查询
在这里插入图片描述

只读模式下TEST2表添加数据报错
在这里插入图片描述

192.168.100.105 SYSDBA下TEST1添加4行数据
在这里插入图片描述

192.168.100.106 USER1下TEST2查询
在这里插入图片描述

2.delete对比
192.168.100.105 SYSDBA下TEST1删除1行数据
在这里插入图片描述

192.168.100.106 USER1下TEST2查询
在这里插入图片描述

只读模式下,TEST2删除数据报错
在这里插入图片描述

3.Update对比
192.168.100.105 SYSDBA下TEST1修改一行数据
在这里插入图片描述

192.168.100.106 USER1下TEST2查询
在这里插入图片描述
在这里插入图片描述
总结,只读模式下,从服务器的表能够同步且不能够进行添加,修改,删除操作.

五.非只读测试

在创建复制表映射的时候,只读选择否
在这里插入图片描述
1.
192.168.100.105表TEST2插入一条数据
在这里插入图片描述

192.168.100.106表TEST3可以查到
在这里插入图片描述

192.168.100.106表TEST3可以自己插入数据
在这里插入图片描述

192.168.100.105表TEST2在插入一条数据
在这里插入图片描述

192.168.100.106表TEST3查询,数据没有同步第二条数据为自己创建的
在这里插入图片描述

192.168.100.105表TEST2重新插入两条数据
在这里插入图片描述

192.168.100.106表TEST3查询,然后删后两条数据
在这里插入图片描述
在这里插入图片描述

192.168.100.105表TEST2重新插入一条数据
在这里插入图片描述

192.168.100.106表TEST3查询
在这里插入图片描述

总结,非只读模式下从服务器的表能够进行修改,修改后不能同步,比如从表第一行先添加一条数据,则主表是从第二条开始同步的(第一条数据不会同步),从表添加,修改的那行数据不会同步.

六.命令方式

创建环境
SP_INIT_REP_SYS(1);
创建复制组
call SP_RPS_ADD_GROUP(‘RPS’,’’);
创建复制
call SP_RPS_SET_BEGIN(‘RPS’);
call SP_RPS_ADD_REPLICATION(‘RPS’,‘111’,’’,‘DM01’,‘DM02’,NULL,’/home/dmdba/dmdbms/data/DAMENG/arch’);
call SP_RPS_SET_APPLY();
创建复制表映射
call SP_RPS_SET_BEGIN(‘RPS’);
call SP_RPS_ADD_TAB_MAP(‘111’,‘SYSDBA’,‘TEST1’,‘USER1’,‘TEST2’,1);
call SP_RPS_SET_APPLY();

更多更详细的内容可以到达梦技术社区:https://eco.dameng.com学习.

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
压缩包包含了三本手册,分别是DM7系统管理员手册、DM7程序员手册和DM8系统管理员手册 第一部分 数据库体系架构 .........................................................................................1 第 1 章 DM 逻辑结构概述 ..................................................................................1 1.1 数据库和实例 ..........................................................................................................1 1.1.1 数据库 ......................................................................................................1 1.1.2 实例 ..........................................................................................................1 1.2 DM 逻辑存储结构 ...................................................................................................1 1.2.1 空间 ......................................................................................................2 1.2.2 记录 ..........................................................................................................3 1.2.3 页 ..............................................................................................................3 1.2.4 簇 ..............................................................................................................4 1.2.5 段 ..............................................................................................................4 第 2 章 DM 物理存储结构 ..................................................................................6 2.1 配置文件 ..................................................................................................................6 2.1.1 DM 数据库服务配置 ................................................................................7 2.1.2 复制配置 ................................................................................................47 2.2 控制文件 ................................................................................................................49 2.3 数据文件 ................................................................................................................50 2.4 重做日志文件 ........................................................................................................51 2.5 归档日志文件 ........................................................................................................51 2.6 逻辑日志文件 ........................................................................................................51 2.7 备份文件 ................................................................................................................52 2.8 跟踪日志文件 ........................................................................................................52 2.9 事件日志文件 ........................................................................................................53 2.10 数据重演文件 ........................................................................................................53 第 3 章 DM 内存结构 ........................................................................................54 3.1 内存池 ....................................................................................................................54 3.1.1 共享内存池 ............................................................................................54 3.1.2 运行时内存池 ........................................................................................54 3.2 缓冲区 ....................................................................................................................54 3.2.1 数据缓冲区 ............................................................................................54 3.2.2 日志缓冲区 ............................................................................................55 3.2.3 字典缓冲区 ............................................................................................56 3.2.4 SQL 缓冲区 ............................................................................................56 3.3 排序区 ....................................................................................................................56 3.4 哈希区 ....................................................................................................................57 3.5 SSD 缓冲区 ............................................................................................................57 I 目录 第 4 章 管理 DM 线程 .......................................................................................58 4.1 监听线程 ................................................................................................................58 4.2 工作线程 ................................................................................................................58 4.3 IO 线程 ...................................................................................................................58 4.4 调度线程 ................................................................................................................59 4.5 日志 FLUSH 线程 .................................................................................................59 4.6 日志归档线程 ..................................................................
数据挖掘算法 算法目录 18大DM算法 包名 目录名 算法名 AssociationAnalysis DataMining_Apriori Apriori-关联规则挖掘算法 AssociationAnalysis DataMining_FPTree FPTree-频繁模式树算法 BaggingAndBoosting DataMining_AdaBoost AdaBoost-装袋提升算法 Classification DataMining_CART CART-分类回归树算法 Classification DataMining_ID3 ID3-决策树分类算法 Classification DataMining_KNN KNN-k最近邻算法工具类 Classification DataMining_NaiveBayes NaiveBayes-朴素贝叶斯算法 Clustering DataMining_BIRCH BIRCH-层次聚类算法 Clustering DataMining_KMeans KMeans-K均值算法 GraphMining DataMining_GSpan GSpan-频繁子图挖掘算法 IntegratedMining DataMining_CBA CBA-基于关联规则的分类算法 LinkMining DataMining_HITS HITS-链接分析算法 LinkMining DataMining_PageRank PageRank-网页重要性/排名算法 RoughSets DataMining_RoughSets RoughSets-粗糙集属性约简算法 SequentialPatterns DataMining_GSP GSP-序列模式分析算法 SequentialPatterns DataMining_PrefixSpan PrefixSpan-序列模式分析算法 StatisticalLearning DataMining_EM EM-期望最大化算法 StatisticalLearning DataMining_SVM SVM-支持向量机算法 其他经典DM算法 包名 目录名 算法名 Others DataMining_ACO ACO-蚁群算法 Others DataMining_BayesNetwork BayesNetwork-贝叶斯网络算法 Others DataMining_CABDDCC CABDDCC-基于连通图的分裂聚类算法 Others DataMining_Chameleon Chameleon-两阶段合并聚类算法 Others DataMining_DBSCAN DBSCAN-基于密度的聚类算法 Others DataMining_GA GA-遗传算法 Others DataMining_GA_Maze GA_Maze-遗传算法在走迷宫游戏中的应用算法 Others DataMining_KDTree KDTree-k维空间关键数据检索算法工具类 Others DataMining_MSApriori MSApriori-基于多支持度的Apriori算法 Others DataMining_RandomForest RandomForest-随机森林算法 Others DataMining_TAN TAN-树型朴素贝叶斯算法 Others DataMining_Viterbi Viterbi-维特比算法 18大经典DM算法 18大数据挖掘的经典算法以及代码实现,涉及到了决策分类,聚类,链接挖掘,关联挖掘,模式挖掘等等方面,后面都是相应算法的博文链接,希望能够帮助大家学。 目前追加了其他的一些经典的DM算法,在others的包中涉及聚类,分类,图算法,搜索算等等,没有具体分类。 C4.5 C4.5算法与ID3算法一样,都是数学分类算法,C4.5算法是ID3算法的一个改进。ID3算法采用信息增益进行决策判断,而C4.5采用的是增益率。详细介绍链接 CART CART算法的全称是分类回归树算法,他是一个二元分类,采用的是类似于熵的基尼指数作为分类决策,形成决策树后之后还要进行剪枝,我自己在实现整个算法的时候采用的是代价复杂度算法,详细介绍链接 KNN K最近邻算法。给定一些已经训练好的数据,输入一个新的测试数据点,计算包含于此测试数据点的最近的点的分类情况,哪个分类的类型占多数,则此测试点的分类与此相同,所以在这里,有的时候可以复制不同的分类点不同的权重。近的点的权重大点,远的点自然就小点。详细介绍链接 Naive Bayes 朴素贝叶斯算法。朴素贝叶斯算法是贝叶斯算法里面一种比较简单的分类算法,用到了一个比较重要的贝叶斯定理,用一句简单的话概括就是条件概率的相互转换推导。详细介绍链接 SVM 支持向量机算法。支持向量机算法是一种对线性和非线性数据进行分类的方法,非线性数据进行分类的时候可以通过核函数转为线性的情况再处理。其中的一个关键的步骤是搜索最大边缘超平面。详细介绍链接 EM 期望最大化算法。期望最大化算法,可以拆分为2个算法,1个E-Step期望化步骤,和1个M-Step最大化步骤。他是一种算法框架,在每次计算结果之后,逼近统计模型参数的最大似然或最大后验估计。详细介绍链接 Apriori Apriori算法是关联规则挖掘算法,通过连接和剪枝运算挖掘出频繁项集,然后根据频繁项集得到关联规则,关联规则的导出需要满足最小置信度的要求。详细介绍链接 FP-Tree 频繁模式树算法。这个算法也有被称为FP-growth算法,这个算法克服了Apriori算法的产生过多侯选集的缺点,通过递归的产生频度模式树,然后对树进行挖掘,后面的过程与Apriori算法一致。详细介绍链接 PageRank 网页重要性/排名算法。PageRank算法最早产生于Google,核心思想是通过网页的入链数作为一个网页好快的判定标准,如果1个网页内部包含了多个指向外部的链接,则PR值将会被均分,PageRank算法也会遭到LinkSpan攻击。详细介绍链接 HITS HITS算法是另外一个链接算法,部分原理与PageRank算法是比较相似的,HITS算法引入了权威值和中心值的概念,HITS算法是受用户查询条件影响的,他一般用于小规模的数据链接分析,也更容易遭受到攻击。详细介绍链接 K-Means K-Means算法是聚类算法,k在在这里指的是分类的类型数,所以在开始设定的时候非常关键,算法的原理是首先假定k个分类点,然后根据欧式距离计算分类,然后去同分类的均值作为新的聚簇中心,循环操作直到收敛。详细介绍链接 BIRCH BIRCH算法利用构建CF聚类特征树作为算法的核心,通过树的形式,BIRCH算法扫描数据库,在内存中建立一棵初始的CF-树,可以看做数据的多层压缩。详细介绍链接 AdaBoost AdaBoost算法是一种提升算法,通过对数据的多次训练得到多个互补的分类器,然后组合多个分类器,构成一个更加准确的分类器。详细介绍链接 GSP GSP算法是序列模式挖掘算法。GSP算法也是Apriori类算法,在算法的过程中也会进行连接和剪枝操作,不过在剪枝判断的时候还加上了一些时间上的约束等条件。详细介绍链接 PreFixSpan PreFixSpan算法是另一个序列模式挖掘算法,在算法的过程中不会产生候选集,给定初始前缀模式,不断的通过后缀模式中的元素转到前缀模式中,而不断的递归挖掘下去。详细介绍链接 CBA 基于关联规则分类算法。CBA算法是一种集成挖掘算法,因为他是建立在关联规则挖掘算法之上的,在已有的关联规则理论前提下,做分类判断,只是在算法的开始时对数据做处理,变成类似于事务的形式。详细介绍链接 RoughSets 粗糙集算法。粗糙集理论是一个比较新颖的数据挖掘思想。这里使用的是用粗糙集进行属性约简的算法,通过上下近似集的判断删除无效的属性,进行规制的输出。详细介绍链接 GSpan gSpan算法属于图挖掘算法领域。,主要用于频繁子图的挖掘,相较于其他的图算法,子图挖掘算法是他们的一个前提或基础算法。gSpan算法用到了DFS编码,和Edge五元组,最右路径子图扩展等概念,算法比较的抽象和复杂。详细介绍链接 Others目录下的算法: GA 遗传算法。遗传算法运用了生物进化理论的知识来寻找问题最优解的算法,算法的遗传进化过程分选择,交叉和变异操作,其中选择操是非常关键的步骤,把更适应的基于组遗传给下一代。详细介绍链接 DbScan 基于空间密度聚类算法。dbScan作为一种特殊聚类算法,弥补了其他算法的一些不足,基于空间密,实现聚类效果,可以发现任意形状的聚簇。详细介绍链接 GA_Maze 遗传算法在走迷宫游戏中的应用。将走迷宫中的搜索出口路径的问题转化为遗传算法中的问题通过构造针对此特定问题的适值函数,基因移动方向的定位,巧的进行问题的求解。详细介绍链接 CABDDCC 基于连通图的分裂聚类算法。也是属于层次聚类算法主要分为2个阶段,第一阶段构造连通图。第二个阶段是分裂连通图,最终形成聚类结果。详细介绍链接 Chameleon 两阶段聚类算法。与CABDDCC算法相反,最后是通过对小簇集合的合并,形成最终的结果,在第一阶段主要是通过K近邻的思想形成小规模的连通图,第二阶段通过RI(相对互连性)和RC(相对近似性)来选一个最佳的簇进行合并。详细介绍链接 RandomForest 随机森林算法。算法思想是决策树+boosting.决策树采用的是CART分类回归数,通过组合各个决策树的弱分类器,构成一个最终的强分类器,在构造决策树的时候采取随机数量的样本数和随机的部分属性进行子决策树的构建,避免了过分拟合的现象发生。详细介绍链接 KDTree K-Dimension Tree。多维空间划分树,数据在多维空间进行划分与查找。主要用于关键信息的搜索,类似于在空间中的二分搜索,大大提高了搜索效率,在寻找目标元素时,使用了DFS深度优先的方式和回溯进行最近点的寻找。详细介绍链接 MS-Apriori 基于多支持度的Apriori算法。是Apriori算法的升级算法,弥补了原先Apriori算法的不足,还增加了支持度差别限制以及支持度计数统计方面的优化,无须再次重新扫描整个数据集,产生关联规则的时候可以根据子集的关系避免一些置信度的计算。详细介绍链接 ACO 蚁群算法。蚁群算法又称为蚂蚁算法。同GA遗传算法类似,也是运用了大自然规律的算法,用于在图中寻找最优路径的概率型算法。灵感来源于蚂蚁在寻找食物时会散播信息素的发现路径行为。详细介绍链接 BayesNetwork 贝叶斯网络算法。弥补了朴素贝叶斯算法中必须要事件独立性的缺点,利用了贝叶斯网络的DAG有向无环图,允许各个事件保留一定的依赖关系,网络结构中的每个节点代一种属性,边代相应的条件概率值,通过计算从而能得到精准的分类效果。详细介绍链接 TAN 树型朴素贝叶斯算法。此算法又被称为加强版朴素贝叶斯算法。在满足原有朴素贝叶斯条件的基础上,他允许部条件属性直接的关联性。形成树型的结构。详细介绍链接 Viterbi 维特比算法。给定一个隐马尔科夫模型以及一个观察序列,求出潜在的状态序列信息,每个潜在状态信息又会受到前一个状态信息的影响。 算法使用方法 在每个算法中给出了3大类型,主算法程序,调用程序,输入数据,调用方法如下: 将需要数据的测试数据转化成与给定的输入格式相同 然后以Client类的测试程序调用方式进行使用。 也可以自行修改算法程序,来适用于自己的使用场景
提供的源码资源涵盖了安卓应用、小程序、Python应用和Java应用等多个领域,每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写,确保了在对应环境下能够无缝运行。同时,源码中配备了详细的注释和文档,帮助用户快速理解代码结构和实现逻辑。 适用人群: 这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生,还是对其他领域编程感兴趣的学生,这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码,你可以掌握各平台开发的基础知识,提升编程能力和项目实战经验。 使用场景及目标: 在学习阶段,你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码,你将深入了解各平台开发的技术细节和最佳实践,逐步培养起自己的项目开发和问题解决能力。此外,在求职或创业过程中,具备跨平台开发能力的大学生将更具竞争力。 其他说明: 为了确保源码资源的可运行性和易用性,特别注意了以下几点:首先,每份源码都提供了详细的运行环境和依赖说明,确保用户能够轻松搭建起开发环境;其次,源码中的注释和文档都非常完善,方便用户快速上手和理解代码;最后,我会定期更新这些源码资源,以适应各平台技术的最新发展和市场需求。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值