一切尽在掌控之中：这个Python脚本，让工作自动向你汇报进度

导语：

小编经常编写Python脚本来进行数据处理、数据传输和模型训练。随着数据量和数据复杂性的增加，运行脚本可能需要一些时间。在等待数据处理完成时可以同时做一些其他工作。

为了达到这个目的，编写了一组用于解决这个问题的Python脚本。使用这些脚本向手机发送流程更新、可视化和完成通知。当偶尔拥有这些自由的时刻，你可以享受而不是担心模型的进度。

需要什么

第一个问题是，需要知道什么?这取决于你正在做的工作。对于笔者来说主要有有三个可能会占用时间的处理任务：

·       模型训练

·       数据处理和/或传输

·       金融模型

我们需要对于每一种情况具体分析。

模型训练

更新每n个epoch，必须包括关键指标。例如，训练和验证集的损失和准确性。接着完成通知，包括：

·        训练期间关键指标的可视化(同样，训练和验证集的损失和准确性)

·        其他不太重要但仍然有用的信息，如本地模型目录、训练时间、模型架构等

·        预测输出，对于文本生成来说输出生成的文本(或它的一个样本)；对于图像生成来说，输出结果是一个(希望)很酷的可视化

以训练一个神经网络来重现给定的艺术风格为例。我们需要重点从模型中生成的图像，损失和精度图，当前的训练时间，和一个模型的名称。

import notify
             START= datetime.now()  # this line would be placed before modeltraining begins
      MODELNAME="SynthwaveGAN"  # giving us ourmodel name
      NOTIFY=100  # so we send an update notification every100 epochs
             # for each epoch e,we would include the following code
      if e % notify_epoch ==0and e !=0:
          # here we createthe email body message
         txt = (f"{MODELNAME} update as of "
                f"{datetime.now().strftime( %H:%M:%S )}.")
                 # we build theMIME message object with notify.message
         msg = notify.message(
             subject= Synthwave GAN ,
             text=txt,
             img=[
                 f ../visuals/{MODELNAME}/epoch_{e}_loss.png ,
                 f ../visuals/{MODELNAME}/epoch_{e}_iter_{i}.png 
             ]
         )  # note that weattach two images here, the loss plot and
          #    ...a generated image output from our model
                    notify.send(msg)  # we then send the message

每隔100个epoch，就会发送一封包含上述所有内容的电子邮件。以下是其中一封邮件:

数据处理和传输

这点不是很有趣，但在时间消耗方面，它排第一名。

以使用Python将批量数据上传到SQLServer为例(对于没有BULK INSERT的人)。在上传脚本的最后&#