达梦数据交换平台软件DMETL部署

已于 2023-02-10 23:19:07 修改
阅读量639 收藏
点赞数 1
文章标签： 大数据 数据库 Powered by 金山文档
于 2023-02-09 09:47:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oracle_veritas/article/details/128905323
版权

一、DMETL介绍

达梦数据交换平台(简称DMETL)是在总结了众多大数据项目经验和需求并结合最新大数据发展趋势和技术的基础上，自主研发的通用的大数据处理与集成平台。

DMETL创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持，大幅度降低了用户使用各种hadoop以及flink进行大数据整合处理的技术门槛，是构建数据同步、数据交换、数据仓库以及数据中心等数据集成类应用的理想平台。

二、安装前准备

  1. 软件下载

进入达梦官网下载对应版本产品安装包

  1. 环境介绍

环境规划：Vm虚拟机+kylin10+dm8

IP地址：192.168.128.130

ETL软件：dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std.zip

三、DMETL安装部署

调度器（scheduler）安装

  1. 使用root用户进入安装包目录

./dmetl5_scheduler_linux.x86_64.bin

  1. 调出安装界面

  1. 我接受，下一步

  1. 选择软件授权方式

  1. 选择安装类型及目录

  1. 安装小结

  1. 初始化元数据库

  1. 配置控制器服务

完成安装

管理工具安装

  1. 执行安装程序

  1. 接受授权协议

  1. 选择组件和目录

  1. 安装总结

  1. 配置管理器ini文件

  1. 配置管理器服务

  1. 安装总结

测试访问 ip:8080 admin/admin

数据源管理

达梦学习社区：https://eco.dameng.com

笔泉
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
达梦数据交换平台软件DMETL白皮书.pdf
10-19
达梦数据交换平台软件DMETL白皮书.pdf
达梦ETL定时增量迁移Oracle表到达梦数据库（定时增量迁移附带数据清洗转换）
ze88020840的博客
07-21 1556
达梦ETL 定时调度 数据清洗转换 增量 迁移 Oracle表到达梦数据库
DMETL快速入门（上） —— 数据同步
cuguw64426的博客
03-17 340
文章来自达梦技术社区http://bbs.dameng.com/ 一、DMETL介绍　　DMETL是达梦数据库有限公司研制开发的具有自主版权的、商品化的数据交换平台，可以快速地实现对基于数据的企业应用集成。DMETL通过建立底...
达梦数据库DMETL使用方法简介
键盘上的艺术
02-28 4820
前言：DMETL即达梦数据交换平台，是一个具备数据抽取（Extract）、清洗转换(Transform)和装载（Load）功能的通用的数据处理平台。DMETL在传统 ETL 工具的基础上，集成了数据同步、数据交换、数据整合功能，能够为基于数据集成的应用和日常的数据清洗转换工作提供了完整的支持，并具有高性能，可靠，易用，高拓展性的特点。 DMETL的使用通常可以分为五个主要步骤：创建数据源、创建工程...
DMETL
njcwwddcz的博客
06-06 533
ETL（extract-transform-load）它是将大量的原始数据经过提取（extract）、转换（transform）、加载（load）到目标存储数据仓库的过程。ETL 是企业数据应用过程中的一个数据流（pipeline）的控制技术，把原始的数据（原始数据并不是完美的、洁净的，质量参差不齐的数据对于数据最终的使用会产生很大的影响）经过一定的处理，放入数据仓库里。在提取阶段，解决的是数据来源问题。主要有以下几种：弄清楚了数据来源，前边做了数据的整合，对文件格式进行了一些处理。本步骤，根据我们的商业需
DMETL部署测试记录
xufei_9527的博客
06-02 210
达梦数据交换平台(简称DMETL)是在总结了众多大数据项目经验和需求并结合最新大数据发展趋势和技术的基础上，自主研发的通用的大数据处理与集成平台。DMETL创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持，大幅度降低了用户使用各种hadoop以及flink进行大数据整合处理的技术门槛，是构建数据同步、数据交换、数据仓库以及数据中心等数据集成类应用的理想平台。本次实验使用单机版，所有的组件运行在一
使用达梦ETL数据交换平台实现mysql数据库向PostgreSQL数据库的自动化迁移
weixin_33809981的博客
01-22 925
2019独角兽企业重金招聘Python工程师标准>>> ...
达梦数据交换平台DMETL使用分享-数据质量检测的使用
u012452840的博客
04-01 759
一、前言 大数据资源数据清洗、装载以及交换的过程中，有些数据可能跟我们预计的格式不相符，需要进行基于规则的匹配、检测，筛选出正常数据（匹配所有规则）、问题数据（违反一个或多个规则）以及基于某些规则的正常数据和问题数据。这种基于规则的匹配和筛选，从而可以保证数据入库前的数据质量。 数据质量的使用，需要首先进行规则的创建，这些规则可以在不同的质量检测节点中进行复用，自定义的修改；然后再进行数据字段上的检测规则的设置和修改。每个字段可以设置一个或多个规则。 每个质量检测节点根据设置的规则，可以在节点的输出配置中，
（13）达梦DMETL数据交换平台技术原理及应用介绍
idmon的博客
07-05 1250
本篇文章主要是对达梦DMETL数据交换平台系统框架及核心功能组件等技术方面的学习分享。数据实时同步软件(DMETL)简介达梦数据交换平台(简称DMETL)是在结合当前大数据发展趋势和技术的基础上，将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持。......
达梦ETL
qq_44182229的博客
02-09 1464
一、概述 达梦数据交换平台(简称DMETL)是在总结了众多大数据项目经验和需求并结合最新的大数据发展趋势的基础上研发的具有自主版权的数据处理与集成平台。达梦数据交换平台创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据交换共享的一站式支持，大幅度降低了用户使用各种平台进行大数据整合处理的技术门槛，是构建数据中心、数据仓库、数据交换和数据同步等数据集成类应用的理想平台。 二、ETL的使用 1.连接ORACLE19C
关于达梦数据交换平台软件DMETL使用的一个例子
weixin_42447367的博客
09-05 621
通过一个例子来熟悉DMETL4.0的使用。 将实例库BOOKSHOP中的EMPLOYEE、EMPLOYEE_DEPARTMENT、DEPARTMENT以及PERSON三张有关员工的表整合成一张完整的员工信息表(EMPLOYEEINFO)。 首先重新生成两个新的数据库实例，将实例库BOOKSHOP添加上，BOOKSHOP数据源中存储的是原始的员工信息，将其中一个库定义为DMETL_SAMPLE，在该库中创建一个新的模式DMETL_SAMPLE，在该模式下创建一个DMETL_SAMPLE表，该表将存储整合后的员
达梦数据交换平台产品白皮书.doc
10-06
达梦数据交换平台产品白皮书.doc
达梦数据交换平台
05-31
达梦数据交换平台
达梦数据同步软件DMHS白皮书.pdf
05-21
达梦数据同步软件DMHS白皮书
nacos适配达梦数据源
02-22
nacos适配达梦数据源，包含window linux版可直接使用，包含源码部分可自行修改内容自行编译。可导入idea自行编译，已编译好可直接使用的从nacos-2.1.2\distribution\target拷贝使用内含脚本sql文件自行导入达梦...
10分钟了解数据质量管理-奥斯汀格里芬 Apache Griffin
搞数据
04-28 1031
Griffin是一个开源的大数据数据质量解决方案，由eBay开源，它支持批处理和流模式两种数据质量检测方式，是一个基于Hadoop和Spark建立的数据质量服务平台 (DQSP)。它提供了一个全面的框架来处理不同的任务，例如定义数据质量模型、执行数据质量测量、自动化数据分析和验证，以及跨多个数据系统的统一数据质量可视化。Griffin于2016年12月进入Apache孵化器，Apache软件基金会2018年12月12日正式宣布Apache Griffin毕业成为Apache顶级项目。
云计算知识点-02
lv785的博客
04-27 1447
DataNode是HDFS文件系统的工作节点，DataNode会按照客户端或者是NameNode的调度来存储和检索数据，并定期向NameNode发送它所存储的数据块列表，DataNode是文件系统中真正存储数据的地方。通过这种虚拟化可以减少服务器的数量，提高服务器的使用效率，可以在一定程度上摆脱物理上的空间限制，实现随时随地随需的自由掌控。Glance(镜像服务组件)，其作用是：提供虚拟机镜像的存储，查询和检索功能，为nova进行服务，依赖于存储服务（存储镜像本身）和数据库服务（存储镜像相关的数据）。
25计算机考研院校数据分析 | 电子科技大学
m0_72717598的博客
04-29 570
是国家“985工程”、“211工程”、“世界一流大学和一流学科”重点建设高校，入选“2011计划”、“111计划”、“卓越工程师教育培养计划”、“国家建设高水平大学公派研究生项目”、“中国政府奖学金来华留学生接收院校”，两电一邮成员。题库中抽取题目作答，重点考查程序设计、算法设计与分析、软件工程、计算机组成原理、数据库、计算机网络、编译原理、密码学（该科目限报考083900网络空间安全专业考生）等基础知识情况。101思想政治理论、201英语一、301数学一、820计算机专业基础【22数据结构+操作系统】
中国移动发布国内领先的大云磐石DPU芯片速率达400Gbps
最新发布
csdnsqst0046的博客
04-30 107
后续，磐石DPU芯片将广泛应用于中国移动数据中心建设，以其优越性能，支撑通用计算、智能计算等业务场景使用，为云计算、边缘计算、大数据处理、AI大模型训练等领域提供更加安全、可靠、高效的技术支撑，助力我国大数据、人工智能、算力网络高速发展，推动算力强国战略落地。4月28日，中国移动在其2024算力网络大会上正式发布大云磐石DPU，该芯片带宽达到400Gbps，为国内领先水平，将应用于移动云新一代大云磐石DPU产品，实现关键技术自主可控。据介绍，DPU是一种专注于数据处理的处理器，可实现更高效的数据处理。
达梦数据库主备集群安装部署
07-28
达梦数据库主备集群的安装部署步骤如下： 1. 准备工作： - 确保服务器满足达梦数据库的最低系统要求。 - 确保服务器之间可以网络互通。 2. 安装达梦数据库软件： - 下载达梦数据库软件安装包，并解压缩到指定目录。 - 执行安装脚本，按照提示进行安装。 3. 配置主备集群： - 在主服务器上编辑主配置文件（dm.cfg），设置主数据库的相关参数。 - 在备服务器上编辑备配置文件（dm.cfg），设置备数据库的相关参数。 - 配置主服务器和备服务器之间的网络连接信息。 4. 启动主备集群： - 在主服务器上启动主数据库。 - 在备服务器上启动备数据库。 5. 配置数据同步： - 在主服务器上创建数据同步账号，并授权给备服务器。 - 在备服务器上设置数据同步参数，指定主数据库的地址和账号信息。 6. 测试主备切换： - 在主服务器上进行一些数据操作，确保数据同步正常。 - 模拟主服务器故障，观察备服务器是否能够自动切换为主服务器。 以上是达梦数据库主备集群的基本安装部署步骤，具体操作还需参考达梦数据库的安装和配置文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值