数据迁移测试总结

最新推荐文章于 2023-03-16 13:43:21 发布
最新推荐文章于 2023-03-16 13:43:21 发布
阅读量1.2k 收藏 3
点赞数
分类专栏： 总结 软件测试 文章标签： 软件测试 测试工程师
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z917185537/article/details/112481066
版权

文章目录

一、适用场景

​ 将A系统中的数据迁移到B系统中，对迁移的数据进行完整性、一致性、可用性的验证

二、 测试前需要了解

  • 了解需要迁移的数据范围，比如时间范围、哪些模块要迁移
  • 清楚迁移数据是一次性的全量迁移，还是会涉及到增量迁移
  • 迁移数据的方法，是通过什么方式来进行迁移的

三、根据迁移方案制定测试方案

​ 在迁移方案制定过程要也要参与到其中，一方面是为了验证迁移方案是否合理，另一方面是为了能制定出合理的测试方案和测试计划

以下以某某省旧业务系统迁移到新业务系统为例（从SQLserver数据库迁移到postgre数据库）

1、基础数据对应关系建立

  • 单值对应关系建立：验证单值对应关系，要保证旧系统中有的单值在新系统中都能对应上
  • 部门/人员组织机构关系建立：对于在旧系统存在，而新系统库中不存在的进行抽取，若旧系统和新系统库中均存在则不更新，以新系统库为准（每家监狱都需要进行初始化）
  • 特殊情况处理：词组情况（在旧系统中页面上看着是单值，但存储在数据库中是文本格式的字段，需要整理出这样的字段，并且在业务库中新加一个对应的字段来存储）

2、迁移过程验证分析

​ 使用的**PDI（Pentaho Data Integration）**这款工具（没有深入了解过，但知道怎么操作，能看懂SQL和转换关系就能完成测试工作了），数据过程如图所示

说明：旧系统是每个地方各部署一套，然后定期进行数据集中汇总，迁移到的新系统是集中部署的，所以需要将各地方部署的数据库一个个的都迁移到新业务系统的数据库中

迁移过程

3、测试验证过程，确保数据的完整性、一致性、可用性：

  • 迁移每类数据前，先了解PDI程序中对应的作业，明白整个作业中需要做什么事（需要了解原数据表是哪些，目标表对应的是哪些，并且对应关系是怎样的）
  • 查看PDI中从原数据库查询SQL的数据范围正确性
  • 验证PDI中的转换程序对应关系的正确性
  • 迁移完后 比对各业务表中数据量
  • 查看ETL库中错误信息表（t_etl_error_log），了解哪些表抽数失败，并分析原因;在t_etl_nor_log存放已抽取过来的数据，c_flag字段会标志此数据是新增还是更新过来的
  • 由于在迁移的过程中可能存在用户使用老系统的情况，需要考虑增量抽取的情况，并且在造数据时注意以下内容的覆盖和验证：
    • 增量抽取情况（需要根据抽取频率、数据量，考虑抽取数据的效率）
    • 迁移所涉及到的业务需要都进行录入数据，并且最好每类都能覆盖到
    • 可为空字段都为空
    • 允许输入的字段输入允许的最大值
    • 对于可以输入亦可以选择，两种情况都需要覆盖（即上面说的词组情况）
    • 修改数据后，验证是否是修改后的内容
    • 可以删除的数据被删除后，数据是否同步
  • 在业务系统中操作迁移过来的数据，查看是否能正确处理，需要特别注意
    • 必填项是空值的情况
    • 在系统中无对应代码值的情况
    • 对于文本类，两边设置的长度是否一样
    • 日期字段显示是否符合规范
    • 重点模块的业务
    • 由于数据迁移导致新业务系统新加字段，并且需要在页面上显示，重点测试
z917185537
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DB2数据库-表分区和迁移测试报告(公开版本)
09-28
DB2数据库-表分区和迁移测试报告(公开版本)
数据库 字段长度_数据库迁移过程的测试点简介
weixin_39986169的博客
12-23 286
在实际项目开展过程中，可能会遇到将一个数据库从一台服务器迁移到另外一台服务器，这个时候就会遇到数据迁移的测试，将数据库从一台服务器迁移到另外一台服务器要从三个方面对其实施测试：数据的正确性，数据的一致完整性，数据的可用性。数据库完成迁移后可以按照以下步骤和流程实施测试：1.首先要确定数据迁移范围：确定哪些模块的基础数据完成了迁移或者是整库的迁移；2. 找到系统数据库表结构的设计文...
项目总结：数据迁移测试
weixin_33767813的博客
07-10 540
第一次在项目中遇到数据迁移测试，从一头雾水开始做起，绕了不少弯路，趁着项目还没有结束，赶紧总结一下，适时调整思路。 　　一、没有需求文档=没有测试需求？ 　　这次项目的数据迁移，SA是缺失的，但是测试需求还是可以跟开发人员沟通确认： 　　● 迁移的是哪几张表？ 　　● 迁移表之间是否存在关联关系，如何关联？ 　　● 迁移表中，那些字段的数据需要迁移，那些...
数据迁移测试方法略谈
xianshengsun的博客
08-26 2998
 数据迁移主要使用在新老系统到切换，主要有两种类型 一种是将老系统的数据全部迁移到新系统中，业务上只使用新系统，老系统不再使用 另外一种是，老系统的部分功能在新系统中暂时无法实现，但是在业务上需要使用新系统，需要将新系统中产生到数据导入到老系统到数据库中，做特殊用途。 　　将老系统中到数据迁移到新系统中 　　主要到策略有： 　　1. 查看老系统中到数据是否完全迁移到新系统中 　　
TestDirector项目数据迁移完整过程
02-04
本文总结了我们在移植TD项目方面的一些经验和技巧，希望对大家有所帮助。【关键词】项目移植集成工作环境分布式工作环境这里我们先将以上的几个名词解释一下：项目移植：这里说的项目移植是指将已经建立的TD项目整体...
将您的测试数据从RationalClearQuest测试管理解决方案迁移到RationalQualityManager环境
02-27
内容安装RationalClearQuestTestManager迁移插件将测试资源从RationalClearQuestTestManager映射为RationalQualityManager从RationalClearQuestTestManager到RationalQualityManager迁移数据总结参考资料简介： ...
activiti6迁移camunda7.15.0sql.txt
08-09
众所周知，camunda是由activiti5...免责声明：本sql是根据我自己项目总结提炼出来的，目的是辅助各位进行迁移，请各位看清版本，酌情下载，建议先在测试环境测试，因系统环境差异等因素导致的不必要损失，本人概不负责
Oracle 11g RMAN备份异机恢复 迁移数据 案例.
10-03
Rman的异机恢复的作用很多，比如数据库迁移，数据库恢复，基于数据库架构调整的还原恢复(比如从RAC-->>单实例，ASM-->>文件系统)，有时候搭建测试环境也会用到，不过，这种情况下相信选择数据库复制方式比较方便。...
数据迁移测试
大壮的博客
01-14 1078
此次测试为性能测试。 ​开始测试  移除点击此处添加图片说明文字 控制在一个场站的一个月，开始测试。准备截图。  移除点击此处添加图片说明文字 果然是要报错的，因为s3的目录太奇怪了，哎，我删除目录吧，妈的。目录真恶心啊 ​后来发现了，原来是因为队列切割有换行符，我控制了一下可以了  移除点击此处添加图片说明文字 ​可以看到是可以了的。  移除点击此处添加图片说明
某政府部门ORACLE数据库系统数据迁移实施报告
08-09
本次数据库迁移需要从oracle9i（9.2.0.1）迁移到oracle10g（10.2.0.5），实施结果：数据库已迁移到Itanuim服务器上，运行于RAC模式，运行状态正常
数据库迁移性能测试方案（实例）
05-17
数据库迁移性能测试方案（实例） 本次性能测试项目特点是对数据库迁移前后两种数据库下的系统进行性能测试，需要对两种数据库下性能指标进行对比分析
数据迁移测试经验总结
shen2046123的博客
12-12 2870
一、背景 数据迁移测试，往往涉及到功能又涉及到底层数据，在新旧版本之间都需要做兼容，需要关注的内容比较多，涉及的面比较广，可能带来的问题也比较隐蔽，本文以一个相对复杂的数据迁移测试场景为例，简单总结了一些数据迁移测试过程当中的核心关注点及测试方法。 二、测试分析 在进行测试之前，需要对核心的测试点做重点的梳理，其中主要包括本次迁移涉及到的后端接口、对应的数据库表以及数据迁移的接口 2.1涉及到的后...
native 数据迁移_PostgreSQL10 pg_pathman、native、Inherits 分区测试报告
weixin_31894867的博客
01-14 329
背景：哈啰出行旗下包括哈啰单车、助力车、顺风车、打车、电动车、换电等几乎所有业务都基于PostgreSQL数据库构建，PostgreSQL的安全、稳定、高效为哈啰出行的上亿用户提供了强大的基础。随着时间的推移，表里的数据量越来越大，有些需要分库分表处理，有些可以通过简单的分区处理即可，表分区有很多好处：1)：只vacuum 最近分区子表而不是vacuum大表，降低io消耗，减少表膨胀。2...
数据迁移总结
mediocre117的博客
10-17 2777
1.复杂数据迁移时,涉及到单数据源读,单数据源写,并且在写数据源中读的情况,那么在迁移程序必须设置多数据源对数据读写处理.尤其在数据结构比较混乱的时候!   最关键的是在数据迁移错误时,进行程序补救措施,这可以节省很多时间!   2.数据迁移过程中,出现数据问题时,不要直接在程序中删除,比如list中remove后就不做任何处理,   错误数据要做标识,或单独存放在记录错误数据的表中,然后根
数据迁移测试经验分享
伤心的辣条
03-16 445
数据预埋是测试前很重要的准备环节，决定是否有足够的，完整的数据满足迁移测试。数据迁移，是在保证新旧系统业务连续性的前提下，将数据从旧数据库迁移到新数据库的过程，测试前通过迁移策略和方案了解新旧系统数据如何重构与关联，测试过程需确保数据迁移的正确性，主要体现在技术层面，确保数据0丢失，数据库库表处理正确，字段映射正确；1.关注迁移数据种类和状态，不同类型数据测试关注点不同，例如：基础数据迁移后需要关注新旧系统数据一致性，纯历史数据迁移后，除了数据一致性外，还需要关注迁移后在新系统的查询和业务是否正常。
使用MNIST数据集进行迁移学习实现手写数字分类，记录实训过程，总结经验体会
最新发布
06-01
好的，我会记录下使用MNIST数据集进行迁移学习实现手写数字分类的实训过程，并总结经验体会。 1. 数据集准备 首先，我们需要下载MNIST数据集并进行预处理。MNIST数据集包含60,000张训练图像和10,000张测试图像，每张图像的大小为28x28像素。我们可以使用Python中的tensorflow库来下载和导入MNIST数据集，代码如下： ```python import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # 下载并导入MNIST数据集 mnist = input_data.read_data_sets("MNIST_data", one_hot=True) ``` 在导入数据集之后，我们需要对图像进行预处理，将像素值缩放到0到1之间，以便于模型训练。 2. 迁移学习模型的选择 我们可以选择使用预训练模型作为迁移学习的模型。在本例中，我们选择了VGG16模型作为预训练模型，因为VGG16模型在图像识别任务上表现良好。 在使用VGG16模型之前，我们需要对它进行一些修改。由于我们的任务是手写数字分类，而VGG16模型是在ImageNet数据集上进行训练的，因此我们需要修改VGG16模型的输出层，将它变成一个输出10个类别的全连接层。代码如下： ```python from tensorflow.keras.applications import VGG16 from tensorflow.keras.layers import Dense, Flatten from tensorflow.keras.models import Model # 加载VGG16模型，去掉顶层 vgg = VGG16(weights='imagenet', include_top=False, input_shape=(28, 28, 3)) # 添加自定义的顶层 x = vgg.output x = Flatten()(x) predictions = Dense(10, activation='softmax')(x) # 构造新模型 model = Model(inputs=vgg.input, outputs=predictions) # 冻结VGG16模型的所有层 for layer in vgg.layers: layer.trainable = False ``` 在上面的代码中，我们首先加载了VGG16模型，并去掉了顶层。然后，我们添加了一个Flatten层和一个输出10个类别的全连接层，并将它们作为新模型的输出层。最后，我们冻结了VGG16模型的所有层，以便于在训练过程中不会影响它们的权重。 3. 模型训练 在模型训练之前，我们需要定义一些超参数，如学习率、批大小和训练轮数。在本例中，我们选择了学习率为0.001，批大小为32，训练轮数为10。 ```python # 定义超参数 learning_rate = 0.001 batch_size = 32 num_epochs = 10 # 编译模型 model.compile(optimizer=tf.keras.optimizers.Adam(lr=learning_rate), loss='categorical_crossentropy', metrics=['accuracy']) # 训练模型 model.fit(mnist.train.images.reshape(-1, 28, 28, 1), mnist.train.labels, batch_size=batch_size, epochs=num_epochs, verbose=1, validation_data=(mnist.test.images.reshape(-1, 28, 28, 1), mnist.test.labels)) ``` 在上面的代码中，我们首先定义了超参数。然后，我们使用tf.keras.optimizers.Adam优化器和交叉熵损失函数编译了模型，并在训练过程中使用了验证集来评估模型的性能。 4. 模型评估 在模型训练完成之后，我们可以使用测试集来评估模型的性能。代码如下： ```python # 评估模型 score = model.evaluate(mnist.test.images.reshape(-1, 28, 28, 1), mnist.test.labels, verbose=0) print('Test loss:', score[0]) print('Test accuracy:', score[1]) ``` 在上面的代码中，我们使用了模型的evaluate方法来计算测试集上的损失和准确率。 5. 总结经验体会 通过上面的实训过程，我们可以得出以下几点经验体会： - 迁移学习可以帮助我们在小型数据集上构建高性能的模型。 - 在选择预训练模型时，需要考虑它在目标任务上的性能和适应性。 - 在使用预训练模型时，需要修改它的顶层，并冻结所有层以防止它们在训练过程中被更新。 - 在训练过程中，需要使用小批量数据和合适的学习率来避免过拟合和欠拟合。 - 在评估模型性能时，需要使用测试集来评估模型的泛化能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值