图源:unsplash
笔者经常编写Python脚本来进行数据处理、数据传输和模型训练。随着数据量和数据复杂性的增加,运行脚本可能需要一些时间。在等待数据处理完成时可以同时做一些其他工作。
很多人学习python,不知道从何学起。
很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。
很多已经做案例的人,却不知道如何去学习更加高深的知识。
那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!
QQ群:1097524789
为了达到这个目的,笔者编写了一组用于解决这个问题的Python脚本。使用这些脚本向手机发送流程更新、可视化和完成通知。当偶尔拥有这些自由的时刻,你可以享受而不是担心模型的进度。
需要什么
第一个问题是,需要知道什么?这取决于你正在做的工作。对于笔者来说主要有有三个可能会占用时间的处理任务:
· 模型训练
· 数据处理和/或传输
· 金融模型
我们 需要 对于每一种情况具体分析。
模型训练
更新每n个epoch,必须包括关键指标。例如,训练和验证集的损失和准确性。接着完成通知,包括:
· 训练期间关键指标的可视化(同样,训练和验证集的损失和准确性)
· 其他不太重要但仍然有用的信息,如本地模型目录、训练时间、模型架构等
· 预测输出,对于文本生成来说输出生成的文本(或它的一个样本);对于图像生成来说,输出结果是一个(希望)很酷的可视化
以训练一个神经网络来重现给定的艺术风格为例。我们需要重点从模型中生成的图像,损失和精度图,当前的训练时间,和一个模型的名称。
import notify START= datetime.now() # this line would be placed before modeltraining begins MODELNAME="SynthwaveGAN" # giving us ourmodel name NOTIFY=100 # so we send an update notification every100 epochs # for each epoch e,we would include the following code if e % notify_epoch ==0and e !=0: # here we createthe email body message txt = (f"{MODELNAME} update as of " f"{datetime.now().strftime( %H:%M:%S )}.") # we build theMIME message object with notify.message msg = notify.message( subject= Synthwave GAN , text=txt, img=[ f ../visuals/{MODELNAME}/epoch_{e}_loss.png , f ../visuals/{MODELNAME}/epoch_{e}_iter_{i}.png ] ) # note that weattach two images here, the loss p