数据迁移测试经验总结

一、背景

数据迁移测试,往往涉及到功能又涉及到底层数据,在新旧版本之间都需要做兼容,需要关注的内容比较多,涉及的面比较广,可能带来的问题也比较隐蔽,本文以一个相对复杂的数据迁移测试场景为例,简单总结了一些数据迁移测试过程当中的核心关注点及测试方法。

二、测试分析

在进行测试之前,需要对核心的测试点做重点的梳理,其中主要包括本次迁移涉及到的后端接口、对应的数据库表以及数据迁移的接口

2.1涉及到的后端接口

涉及到了15个接口,需要覆盖的场景较多,对应场景及接口按照大的类别来区分,具体的场景在设计用例时以等价类代表用例覆盖
对应接口及场景

2.2对应数据库关系及注意点

涉及到了4个库7张表,关系复杂,需要验证的数据内容较多,针对性的列出了对应场景和表表直接关系,以及一些细节关注点
对应数据库表及关系

2.2数据迁移接口及数据校验接口

迁移接口及校验接口

三、测试流程

根据数据迁移测试的特点,主要从三个方面来保证质量,数据准确性、功能可用性、代码的健壮程度

3.1数据校验

保证数据准确性是本次数据迁移最为核心的关键一步,需要对增量数据及全量数据做全面的校验,由于手工测试费时费力,将可执行的数据对比操作都做了脚本自动化来进行校验。
对应SQL

# -*- coding:utf-8 -*-
# 实例转商品,对应商品表数据变更
增量数据校验
实例库对应数据校验
```javascript
# -*- coding:utf-8 -*-
# 实例转商品,对应实例表数据变更
 
import pymysql
def SimpleAddData():
    # 连接database
    con_custom = pymysql.connect(host="localhost", user="root", password="123456", database="database1", charset="utf8")
    con_product = pymysql.connect(host="localhost", user="root", password="123456", database="database2", charset="utf8")
    # 得到一个可以执行SQL语句的光标对象
    cur_custom = con_custom.cursor(
  • 3
    点赞
  • 43
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,我会记录下使用MNIST数据集进行迁移学习实现手写数字分类的实训过程,并总结经验体会。 1. 数据集准备 首先,我们需要下载MNIST数据集并进行预处理。MNIST数据集包含60,000张训练图像和10,000张测试图像,每张图像的大小为28x28像素。我们可以使用Python中的tensorflow库来下载和导入MNIST数据集,代码如下: ```python import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # 下载并导入MNIST数据集 mnist = input_data.read_data_sets("MNIST_data", one_hot=True) ``` 在导入数据集之后,我们需要对图像进行预处理,将像素值缩放到0到1之间,以便于模型训练。 2. 迁移学习模型的选择 我们可以选择使用预训练模型作为迁移学习的模型。在本例中,我们选择了VGG16模型作为预训练模型,因为VGG16模型在图像识别任务上表现良好。 在使用VGG16模型之前,我们需要对它进行一些修改。由于我们的任务是手写数字分类,而VGG16模型是在ImageNet数据集上进行训练的,因此我们需要修改VGG16模型的输出层,将它变成一个输出10个类别的全连层。代码如下: ```python from tensorflow.keras.applications import VGG16 from tensorflow.keras.layers import Dense, Flatten from tensorflow.keras.models import Model # 加载VGG16模型,去掉顶层 vgg = VGG16(weights='imagenet', include_top=False, input_shape=(28, 28, 3)) # 添加自定义的顶层 x = vgg.output x = Flatten()(x) predictions = Dense(10, activation='softmax')(x) # 构造新模型 model = Model(inputs=vgg.input, outputs=predictions) # 冻结VGG16模型的所有层 for layer in vgg.layers: layer.trainable = False ``` 在上面的代码中,我们首先加载了VGG16模型,并去掉了顶层。然后,我们添加了一个Flatten层和一个输出10个类别的全连层,并将它们作为新模型的输出层。最后,我们冻结了VGG16模型的所有层,以便于在训练过程中不会影响它们的权重。 3. 模型训练 在模型训练之前,我们需要定义一些超参数,如学习率、批大小和训练轮数。在本例中,我们选择了学习率为0.001,批大小为32,训练轮数为10。 ```python # 定义超参数 learning_rate = 0.001 batch_size = 32 num_epochs = 10 # 编译模型 model.compile(optimizer=tf.keras.optimizers.Adam(lr=learning_rate), loss='categorical_crossentropy', metrics=['accuracy']) # 训练模型 model.fit(mnist.train.images.reshape(-1, 28, 28, 1), mnist.train.labels, batch_size=batch_size, epochs=num_epochs, verbose=1, validation_data=(mnist.test.images.reshape(-1, 28, 28, 1), mnist.test.labels)) ``` 在上面的代码中,我们首先定义了超参数。然后,我们使用tf.keras.optimizers.Adam优化器和交叉熵损失函数编译了模型,并在训练过程中使用了验证集来评估模型的性能。 4. 模型评估 在模型训练完成之后,我们可以使用测试集来评估模型的性能。代码如下: ```python # 评估模型 score = model.evaluate(mnist.test.images.reshape(-1, 28, 28, 1), mnist.test.labels, verbose=0) print('Test loss:', score[0]) print('Test accuracy:', score[1]) ``` 在上面的代码中,我们使用了模型的evaluate方法来计算测试集上的损失和准确率。 5. 总结经验体会 通过上面的实训过程,我们可以得出以下几点经验体会: - 迁移学习可以帮助我们在小型数据集上构建高性能的模型。 - 在选择预训练模型时,需要考虑它在目标任务上的性能和适应性。 - 在使用预训练模型时,需要修改它的顶层,并冻结所有层以防止它们在训练过程中被更新。 - 在训练过程中,需要使用小批量数据和合适的学习率来避免过拟合和欠拟合。 - 在评估模型性能时,需要使用测试集来评估模型的泛化能力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值