mysql导入.dmf文件_AX2012 DMF数据导入的问题

博客介绍了AX2012 DMF导入工具的工作原理,包括如何通过SSIS组件将数据导入暂存表,再映射到目标实体。文章指出,当标准实体无法满足需求时,需要手动调整relation以确保唯一性。同时,文章揭示了自定义实体创建时的逻辑,并指出了可能出现的问题及解决方案,即在向导创建后手动添加能唯一标识记录的字段到relation。
摘要由CSDN通过智能技术生成

由于AX2012的数据结构比较复杂,通过Excel直接导入表的方式很多数据已经难以导入,比如物料信息,2009只需要导入InventTable,InventTableModule和InventItemLocaiton三张表就可以了,但是到了2012就需要导入很多表。

AX2012 DMF导入工具整体来说还是比较好的一个工具,从框架上解决了数据导入的问题,并且提供了很多默认的实体,让对表结构不是很了解的应用顾问也可以导入一些数据,当然有时候导入的时候标准的实体可能不能满足要求,需要做一些修改,但是整个框架有了,具体的微调就不是太困难了。

DMF导入框架的设计比较简洁明了,它先通过SSIS组件把所有的异构数据,导入到暂存表(stage)表,然后再将数据经过映射或者经过转化映射到目标是实体中,其中暂存表就是一个中间表,它可以映射到目标实体,这个目标实体可以对应多张AX2012的表,这些目的表以及相互的关系通过Query来定义。需要转换然后映射到目标实体的转换方法继承自DMFEntityBase类的方法实现。

从暂存表到目的表写入数据的时候,要解决一个问题,如果目的表的数据存在了,应该更新,如果目的表数据不存在,应该插入。那么DMF凭什么来判断目的表的数据是否存在?

答案在类DMFEntityWriter的write方法的如下代码:

query = newquery(_entity.TargetEntity);

query.validTimeStateDateTimeRange(dateTimeUtil::minValue(),DateTimeUtil::maxValue());

qbd= query.dataSourceNo(1);

mainDS=qbd.name();

qbd=qbd.addDataSource(entityTableId);

qbd.fetchMode(QueryFetchMode::One2One);

qbd.relations(true);

其中query就是实例化了目的实体对应的Query,qbd.addDataSource(entityTableId)就是增加了目的Query与暂存表之间的连接,这里并没有显式添加relation,而是用了代码relations(true)来增加连接,这说明暂存表的relations应该定义了暂存表与目的实体主表(目的实体对应的Query的第一个DatSource)之间的关系。relations字段或者字段的组合应该可以唯一确定一条记录。

以DMFProductEntity为例,它就存在了如下一个relation.

41be95f0dbfe52a673d1a9a2a859c92d.png

这样它就可以按照ItemId为标识进行唯一性的判断。

系统存在的标准实体,大都有这个relation,所以大部分都没有问题。

DMF支持自定义的创建,通过向导生成一个目标实体,那么这种情况下,它根据什么逻辑创建暂存表和目的表的relation呢?

这段逻辑在类dmfGenerateEntityTable的addTargetRelation方法。

3a4a7d846234946b08f3ea8b918dee7d.png

显然它是根据目的表的主键或者聚集索引的字段来创建relation的,如果主键或者聚集索引都是RecId或者代理键的话,它不会添加相应的relation,这样在导入的时候会出现只能插入一条记录的情况,解决方法是在用向导创建完表以后手动添加到目的表的relation,把能唯一标识记录的字段加到relation里。

这段ES数据是一条日志记录,包含了事件头和事件实体。其中事件头包括版本号、时间戳、日志级别、进程ID、线程ID和日志来源等信息;事件实体包括事件域、事件动作、事件对象、事件服务、事件状态、事件主题、执行者信息、消息来源、异常时间和多模式路由器等信息。 以下是Java代码示例,用于读取多条ES数据并计算event_header和mimicrouter.exception_time差值平均值: ```java import org.elasticsearch.action.search.SearchRequest; import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.common.unit.TimeValue; import org.elasticsearch.index.query.QueryBuilders; import org.elasticsearch.search.SearchHit; import org.elasticsearch.search.builder.SearchSourceBuilder; import java.io.IOException; import java.util.ArrayList; import java.util.List; public class ESReader { private RestHighLevelClient client; public ESReader(RestHighLevelClient client) { this.client = client; } public double getAvgTimestampDiff(String index) throws IOException { SearchRequest searchRequest = new SearchRequest(index); SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); searchSourceBuilder.query(QueryBuilders.matchAllQuery()); searchSourceBuilder.size(1000); // 最多返回1000条数据 searchSourceBuilder.timeout(TimeValue.timeValueSeconds(5)); // 查询超时时间 searchRequest.source(searchSourceBuilder); SearchResponse searchResponse = client.search(searchRequest); SearchHit[] searchHits = searchResponse.getHits().getHits(); List<Long> timestampDiffs = new ArrayList<>(); for (SearchHit searchHit : searchHits) { String timestampStr = searchHit.getSourceAsMap().get("event_header").toString().split(",")[1]; long timestamp = java.sql.Timestamp.valueOf(timestampStr.substring(1, timestampStr.length() - 1)).getTime(); String exceptionTimeStr = searchHit.getSourceAsMap().get("mimicrouter.exception_time").toString(); long exceptionTime = java.sql.Timestamp.valueOf(exceptionTimeStr.replace(" ", "T")).getTime(); timestampDiffs.add(exceptionTime - timestamp); } double avgTimestampDiff = timestampDiffs.stream().mapToLong(Long::longValue).average().orElse(0.0); return avgTimestampDiff; } } ``` 该代码使用了Elasticsearch的Java High Level REST Client,通过查询ES索引获取多条数据。然后,根据每条数据的event_header和mimicrouter.exception_time计算时间差,并求平均值。其中,timestamp和exceptionTime需要根据具体数据格式进行调整。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值