这个Python脚本，让工作自动向你汇报进度！，我是如何拿到腾讯头条美团小米的offer从小厂跳到大厂的

笔者经常编写Python脚本来进行数据处理、数据传输和模型训练。随着数据量和数据复杂性的增加，运行脚本可能需要一些时间。在等待数据处理完成时可以同时做一些其他工作。

为了达到这个目的，笔者编写了一组用于解决这个问题的Python脚本。使用这些脚本向手机发送流程更新、可视化和完成通知。当偶尔拥有这些自由的时刻，你可以享受而不是担心模型的进度。

需要什么

第一个问题是，需要知道什么?这取决于你正在做的工作。对于笔者来说主要有有三个可能会占用时间的处理任务：

• 模型训练

• 数据处理和/或传输

• 金融模型

我们需要对于每一种情况具体分析。

模型训练

更新每n个epoch，必须包括关键指标。例如，训练和验证集的损失和准确性。接着完成通知，包括：

• 训练期间关键指标的可视化(同样，训练和验证集的损失和准确性)

• 其他不太重要但仍然有用的信息，如本地模型目录、训练时间、模型架构等

• 预测输出，对于文本生成来说输出生成的文本(或它的一个样本)；对于图像生成来说，输出结果是一个(希望)很酷的可视化

以训练一个神经网络来重现给定的艺术风格为例。我们需要重点从模型中生成的图像，损失和精度图，当前的训练时间，和一个模型的名称。

import notify

START= datetime.now() # this line would be placed before modeltraining begins

MODELNAME=“SynthwaveGAN” # giving us ourmodel name

NOTIFY=100 # so we send an update notification every100 epochs

for each epoch e,we would include the following code

if e % notify_epoch ==0and e !=0:

here we createthe email body message

txt = (f"{MODELNAME} update as of "

f"{datetime.now().strftime( %H:%M:%S )}.")

we build theMIME message object with notify.message

msg = notify.message(

subject= Synthwave GAN ,

text=txt,

img=[

f …/visuals/{MODELNAME}/epoch_{e}_loss.png ,

f …/visuals/{MODELNAME}/epoch_{e}iter{i}.png

]

) # note that weattach two images here, the loss plot and

…a generated image output from our model

notify.send(msg) # we then send the message

每隔100个epoch，就会发送一封包含上述所有内容的电子邮件。以下是其中一封邮件:

数据处理和传输

这点不是很有趣，但在时间消耗方面，它排第一名。

以使用Python将批量数据上传到SQLServer为例(对于没有BULK INSERT的人)。在上传脚本的最后，会有一个简单的消息通知上传完成。

import os

import notify

from data importSql # seehttps://jamescalam.github.io/pysqlplus/lib/data/sql.html

dt =Sql( database123 , server001 ) # setup theconnection to SQL Server

for i, file inenumerate(os.listdir( …/data/new )):

dt.push_raw(f …/data/new/{file} ) # push a file to SQL Server

once the upload is complete, send a notification

first we create the message

msg = notify.message(

subject= SQL Data Upload ,

text=f Data upload complete, {i} filesuploaded. ,

)

send the message

notify.send(msg)

如果偶尔抛出错误，还可以添加一个try-except语句来捕获错误，并将其添加到一个列表中，以包含在更新和/或完成电子邮件中。

金融模型

金融建模中运行的所有东西实际上都非常快，所以此处只能提供一个示例。

以现金流动模型工具为例。现实中，这个过程只需要10-20秒，但现在假设你是华尔街炙手可热的定量分析师，正在处理几百万笔贷款。在这封电子邮件中，可能想要包含一个高级概要分析的投资组合。可以随机选择一些贷款，并在给定的时间段内可视化关键值——给定一个小样本来交叉检验模型的性能。

end = datetime.datetime.now() # get the ending datetime

get the total runtime in hours:minutes:seconds

hours,rem =divmod((end - start).seconds, 3600)

mins,secs =divmod(rem, 60)

runtime= {:02d}:{:02d}:{:02d} .format(hours, mins,secs)

now built our message

notify.msg(

subject=“Cashflow Model Completion”,

text=(f {len(model.output)} loansprocessed.

f Total runtime:{runtime} ),

img=[

…/vis/loan01_amortisation.png ,

…/vis/loan07_amortisation.png ,

…/vis/loan01_profit_and_loss.png ,

…/vis/loan07_profit_and_loss.png

]

)

notify.send(msg) # and send it

代码

上面的所有功能节选自一个名为notify.py的脚本。在示例代码中将使用Outlook。这里需要两个Python库，email和smtplib：

• email：用于管理电子邮件消息。有了这个库就可以设置电子邮件消息本身，包括主题、正文和附件。

• smtplib：处理SMTP连接。简单邮件传输协议(SMTP)是大多数电子邮件系统使用的协议，允许邮件通过互联网发送。

MIME

消息本身是使用来自email模块的MIMEMultipart对象构建的。还需要使用三个MIME子类，并将它们附加到MIMEMultipart对象上:

• mimetext：这将包含电子邮件“有效负载”，即电子邮件正文中的文本。

• mimeimage ：这是用于在电子邮件中包含图像。

• mimeapplication：用于MIME消息应用程序对象。也就是文件附件。

除了这些子类之外，还有其他参数，比如MimeMultipart中的Subject值。所有这些加在一起就形成了下面的结构。

把它们都放在一起会发生什么：

import os

from email.mime.text importMIMEText

from email.mime.image importMIMEImage

from email.mime.application importMIMEApplication

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）

hon工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
[外链图片转存中…(img-C7toSJfv-1711029673741)]