![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/c411bbf529b59966766a75a359090684.jpeg)
本文带你认识一个优秀的新深度学习框架,了解深度学习中最重要的3件事。
框架
看到这个题目,你可能会疑惑:
老师,你不是讲过如何用深度学习做图像分类了吗?迁移学习好像也讲过了啊!
说得对!我要感谢你对我专栏的持续关注。我确实讲过深度学习做图像分类,以及迁移学习这两项内容。
写这篇文章,是因为最近因为科研的关系,发现了 fast.ai 这款框架。我希望把它介绍给你。
你可能会不解,之前介绍过的 TuriCreate, Tensorflow, tflearn 和 Keras 好像都挺好用的啊!
我想问问,你在实际的科研工作里,用过哪一个呢?
大多数的读者,只怕基本上都没真正用它们跑过实际的任务。
为什么呢?
因为对普通用户(例如我经常提到的“文科生”),这些框架要么用起来很简单,但是功能不够强大;要么功能很强大,但是不够易用。
例如苹果的 TuriCreate ,我给你演示过,直接零基础上手都没问题。但当你希望对模型进行构造调整的时候,马上就会发现困难重重。因为其专长在于快速产生模型,并且部署到苹果移动设备,因此文档里面底层细节的介绍是有欠缺的。而且有些模型,非苹果平台目前还不能兼容。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/dd241f0f6a855c3f911b333902c85260.jpeg)
至于某著名框架,直到推出3年后,在各方压力下,不得已才把好用的 Eager Execution 作为主要使用模式。其间充分体现了那种技术人员独有的傲慢和固执。另外,就连程序员和数据科学家们都把吐槽“看不懂”它的官方文档当作了家常便饭。这些轶事,由于公开发布会招致口水仗,所以我只写在了知识星球专属语雀团队《发现了一套非常棒的(该框架名称)视频教程》一文中。感兴趣的话,不妨去看看。
原本我认为, Keras 已经是把功能和易用性做到了最佳平衡了。直到我看到了 Jeremy Howard,也就是 fast.ai 创始人提出的评判标准——如果一个深度学习框架需要写个教程给你,那它的易用性还不够好。
我看了之后,可以用感动来形容。
Jeremy 说这话,不是为了夸自己——因为他甚至做了个 MOOC 出来。他自己评价,说目前 fast.ai 的易用性依然不算成功。但在我看来, fast.ai 是目前把易用性和功能都做到了极致的深度学习框架。
它的门槛极低。如同 TuriCreate 一样,你可以很轻易用几句话写个图片分类模型出来,人人都能立即上手。
它的天花板又很高。因为它只是个包裹了 Pytorch 的代码库。
你可能也听说了,在过去的一年里,Pytorch 在学术界大放异彩,就是因为它的门槛对于科研人员来说,已经足够友好了。如果你有需求,可以非常方便地通过代码的修改和复用,敏捷构造自己的深度学习模型。
这种积木式的组合方式,使得许多新论文中的模型,可以第一时间被复现验证。如果你在这个过程中有了自己的灵感和心得,可以马上实践。
且慢,fast.ai 的作者不是已经做了自己的 MOOC 了吗?那写这篇文章,岂不是多此一举?
不是的。
首先,作者每年迭代一个 MOOC 的版本,因为 MOOC 一共包括三门课程,分别是:
Practical Deep Learning for Coders
Cutting Edge Deep Learning for Coders
Introduction to Machine Learning for Coders
但现在你能看到的深度学习基础课,还是去年录的。今年10月,伴随着 Pytorch 1.0 的推出, fast.ai 做了一次显著的大版本(1.0)更新。如果你去看去年的课程,会发现和目前的 fast.ai 代码有很多区别。在完成同一个功能时,你愿意再跑去学旧的过时内容吗?特别是,如果搞混了,还很容易出错。
可是,想看到这个版本课程的免费视频,你至少得等到明年1月。因为目前正式学员们也才刚刚开课。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/059a5f5aae03e90ee1e6ffe8395336a4.jpeg)
而且,那视频,也是英文的。
正因如此,我觉得有必要给你讲讲,如何用最新的 fast.ai 1.0 版本,来完成图像深度迁移学习。
数据
Jeremy 在 MOOC 中提到,如果你打算让机器通过数据来学习,你需要提供3样东西给它,分别是:
数据(Data)
模型结构(Architecture)
损失度量(Loss Metrics)
模型结构,是根据你的具体问题走的。例如说,你需要让机器做图片分类,那么就需要使用卷积神经网络(Convolutional Neural Network)来表征图片上的像素信息构成的特征。如果你需要做自然语言处理,那么就可以使用循环神经网络(Recurrent Neural Network)来捕捉文本或者字符的顺序关联信息。
损失衡量,是指你提供一个标准,衡量机器对某项任务的处理水平。例如说对于分类效果如何,你可以使用交叉熵(Binary Cross Entropy)来评判。这样,机器会尝试最小化损失结果,从而让分类表现越来越好。
至于数据,因为我们这里的任务是做分类。因此需要有标注的训练数据。
我已经把本文需要用到的数据放到了这个 github 项目上。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/1dc6625c5eeb09a6e81b775f065998c0.jpeg)
打开其中的 imgs
文件夹,你会看见3个子文件夹,分别对应训练(train),验证(valid)和测试(test)。
打开 train
文件夹看看。
你没猜错,我们用的图片还是哆啦A梦(doraemon)和瓦力(walle)。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/e38bd3c3196ca2ddb5e37cd641590771.jpeg)
因为这样不仅可以保持教程的一惯性,而且也可以保证结果对比的公平。
打开哆啦A梦的目录看看:
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/b4ad7311324a5d997218a102b6a3ea47.jpeg)
展示其中第一个文件内容。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/e37a3f84c35684ffa2a806dc00d11d1a.jpeg)
好熟悉,是不是?
你可以浏览一下其他的哆啦A梦照片,然后别忘了去瓦力的文件夹里面扫上一眼。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/160ba525934c6486505585356f7f8dc1.jpeg)
这就是我们的数据集了。
环境
为了运行深度学习代码,你需要一个 GPU 。但是你不需要去买一个,租就好了。最方便的租用方法,就是云平台。
fast.ai 官方,给出了以下5种云计算平台使用选项:
Paperspace Gradient
Salamander
SageMaker
Google Compute Platform
Amazon Web Services EC2
其中,我推荐你使用的,是 Google Compute Platform 。原因很简单,首先它成本低,每小时只需要 0.38 美元。更重要的是,如果你是新用户, Google 会先送给你300美金,1年内有效。算算看,这够你运行多久深度学习?
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/1f1a50832935900e4a20bdf40f39375e.jpeg)
原先,fast.ai 上面的设置 Google Compute Platform 教程写得很简略。于是我写了个一步步的教程,请使用这个链接访问。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/a7a4d290bae0e9b381863f98077be8e0.jpeg)
不过,我发现 fast.ai 的迭代速度简直惊人,短短几天时间,新的教程就出来了,而且详尽许多。因此你也可以点击这里查看官方的教程。其中如果有跳步,你可以回看我的教程,作为补充。
因此,Google Compute Platform 中间步骤,咱们就不赘述了。当你的终端里面出现这样的提示的时候,就证明一切准备工作都就绪了。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/f4a6775770f5af8ab47aea920c73b886.jpeg)
下面,你需要下载刚刚在 github 上面的代码和数据集。
git clone https://github.com/wshuyi/demo-image-classification-fastai.git
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/caddc616ded3bfcd8d30000e051e0388.jpeg)
之后,就可以呼叫 jupyter 出场了。
jupyter lab
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/b75c7d4abd5d37dccf67513910895b33.jpeg)
注意因为你是在 Google Compute Platform 云端执行 jupyter ,因此浏览器不会自动弹出。
你需要打开 Firefox 或者 Chrome,在其中输入这个链接(http://localhost:8080/lab?)。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/f1fa3993f2d81b0962453b2d10414653.jpeg)
打开左侧边栏里面的 demo.ipynb
。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/d19f8780c979fdc994318c2ff757fee3.jpeg)
本教程全部的代码都在这里了。当然,你如果比较心急,可以选择执行Run->Run All Cells
,查看全部运行结果。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/447ca4687c0e14a59c21c6ac5fb70bab.jpeg)
但是,跟之前一样,我还是建议你跟着教程的说明,一步步执行它们。以便更加深刻体会每一条语句的含义。
载入
我们先要载入数据。第一步是从 fast.ai 读入一些相关的功能模块。
from fastai import *
from fastai.vision import *
from fastai.core import *
接着,我们需要设置数据所在文件夹的位置,为 imgs
目录。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/20338d8eb1ff892b5a28f722659b102e.jpeg)
执行:
path = Path('imgs')
下面,我们让 fast.ai 帮我们载入全部的数据。这时我们调用 ImageDataBunch
类的 from_folder
函数,结果存储到 data
中:
data = ImageDataBunch.from_folder(path, test='test', ds_tfms=get_transforms(), size=224)
注意这里,我们不仅读入了数据,还顺手做了2件事:
我们进行了数据增强(augmentation),也就是对数据进行了翻转、拉伸、旋转,弄出了很多“新”训练数据。这样做的目的,是因为数据越多,越不容易出现过拟合(over-fitting),也就是模型死记硬背,蒙混考试,却没有抓住真正的规律。
我们把图片大小进行了统一,设置成了 224 x 224 ,这样做的原因,是我们需要使用迁移学习,要用到预训练模型。预训练模型是在这样大小的图片上面训练出来的,因此保持大小一致,效果更好。
下面,检查一下数据载入是否正常:
data.show_batch(rows=3, figsize=(10,10))
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/bfe110e3cbfeca19c21faffa30f2a62b.jpeg)
没问题。图片和标记都是正确的。
训练
用下面这一条语句,我们把“数据”、“模型结构”和“损失度量”三样信息,一起喂给机器。
learn = ConvLearner(data, models.resnet34, metrics=accuracy)
数据就不说了,模型我们采用的是 resnet34
这样一个预训练模型作为基础架构。至于损失度量,我们用的是准确率(accuracy)。
你可能会纳闷,这就完了?不对呀!
没有告诉模型类别有几个啊,没有指定任务迁移之后接续的几个层次的数量、大小、激活函数……
对,不需要。
因为 fast.ai 根据你输入的上述“数据”、“模型结构”和“损失度量”信息,自动帮你把这些闲七杂八的事情默默搞定了。
下面,你需要用一条指令来训练它:
learn.fit_one_cycle(1)
注意,这里我们要求 fast.ai 使用 one cycle policy 。如果你对细节感兴趣,可以点击这个链接了解具体内容。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/5b1f71f45822a7bd31cfba2b13419a44.jpeg)
5秒钟之后,训练结束。
验证集准确率是,100%。
注意,你“拿来”的这个 resnet34
模型当初做训练的时候,可从来没有见识过哆啦A梦或者瓦力。
看了100多张形态各异,包含各种背景噪声的图片,它居然就能 100% 准确分辨了。
之前我们讲过机器学习的可解释性很重要。没错,fast.ai 也帮我们考虑到了这点。
preds,y = learn.get_preds()
interp = ClassificationInterpretation(data, preds, y, loss_class=nn.CrossEntropyLoss)
执行上面这两行语句,不会有什么输出。但是你手里有了个解释工具。
我们来看看,机器判断得最不好的9张图片都有哪些?
interp.plot_top_losses(9, figsize=(10,10))
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/0e70b144e83c5fe48bb775931037a477.jpeg)
因为准确率已经 100% 了,所以单看数值,你根本无法了解机器判断不同照片的时候,遇到了哪些问题。但是这个解释器却可以立即让你明白,哪些图片,机器处理起来,底气(信心)最为不足。
我们还能让解释器做个混淆矩阵出来:
interp.plot_confusion_matrix()
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/10386e6e9c5df100418954a446b82548.jpeg)
不过这个混淆矩阵好像没有什么意思。反正全都判断对了。
评估
我们的模型,是不是已经完美了?
不好说。
因为我们刚才展示的,只是验证集的结果。这个验证集,机器在迭代模型参数的时候每一回都拿来尝试。所以要检验最为真实的效能,我们需要让机器看从来没有看到过的图片。
你可以到 test 目录下面,看看都有什么。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/5b996b88acbed9c3ffc14a47b8288007.jpeg)
注意这里一共6张图片,3张哆啦A梦的,3张瓦力的。
这次,我们还会使用刚才用过的 get_preds
函数。不过区别是,我们把 is_test
标记设置为 True
,这样机器就不会再去验证集里面取数据了,而是看测试集的。
preds,y = learn.get_preds(is_test=True)
注意目录下面看到的文件顺序,是依据名称排列的。但是 fast.ai 读取数据的时候,其实是做了随机洗牌(randomized shuffling)。我们得看看实际测试集里面的文件顺序。
data.test_dl.dl.dataset.ds.x
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/79c5733f10bdd720cde89390c93ea994.jpeg)
好了,我们自己心里有数了。下面就看看机器能不能都判断正确了。
preds
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/7abe9e34f667741ae4bc49356dc12ff5.jpeg)
这都啥玩意儿啊?
别着急,这是模型预测时候,根据两个不同的分类,分别给出的倾向数值。数值越大,倾向程度越高。
左侧一列,是哆啦A梦;右侧一列,是瓦力。
我们用 np.argmax
函数,把它简化一些。
np.argmax(preds, axis=1)
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/ff3cfce911d350476d4f78c22fe2f46b.jpeg)
这样一来,看着就清爽多了。
我们来检查一下啊:瓦力,瓦力,哆啦A梦,哆啦A梦,哆啦A梦,哆啦A梦……
不对呀!
最后这一张,walle.113.jpg
,不应该判断成瓦力吗?
打开看看。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/f4de4468237d33f03c6a4ae73c4d2193.jpeg)
哦,难怪。另一个机器人也出现在图片中,圆头圆脑的,确实跟哆啦A梦有相似之处。
要不,就这样了?
微调
那哪儿行?!
我们做任务,要讲究精益求精啊。
遇到错误不要紧,我们尝试改进模型。
用的方法,叫做微调(fine-tuning)。
我们刚刚,不过是移花接木,用了 resnet34
的身体,换上了一个我们自定义的头部层次,用来做哆啦A梦和瓦力的分辨。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/495b3c767285d1c9d5eed6de628868dc.jpeg)
这个训练结果,其实已经很好了。但是既然锁定了“身体”部分的全部参数,只训练头部,依然会遇到判断失误。那我们自然想到的,就应该是连同“身体”,一起调整训练了。
但是这谈何容易?
你调整得动作轻微,那么效果不会明显;如果你调整过了劲儿,“身体”部分的预训练模型通过海量数据积累的参数经验,就会被破坏掉。
两难啊,两难!
好在,聪明的研究者提出了一个巧妙的解决之道。这非常符合我们不只一次提及的“第一性原理”,那就是返回到事情的本源,问出一句:
谁说调整的速度,要全模型都一致?!
深度卷积神经网络,是一个典型的层次模型。
模型靠近输入的地方,捕获的是底层的特征。例如边缘形状等。
模型靠近输出的地方,捕获的是高层特征,例如某种物体的形貌。
对于底层特征,我们相信哆啦A梦、瓦力和原先训练的那些自然界事物,有很多相似之处,因此应该少调整。
反之,原先模型用于捕获猫、狗、兔子的那些特征部分,我们是用不上的,因此越靠近输出位置的层次,我们就应该多调整。
这种不同力度的调整,是通过学习速率(learning rate)来达成的。具体到我们的这种区分,专用名词叫做“歧视性学习速率”(discriminative learning rate)。
你可能想放弃了,这么难!我不玩儿了!
且慢,看看 fast.ai 怎么实现“歧视性学习速率”。
learn.unfreeze()
learn.fit_one_cycle(3, slice(1e-5,3e-4))
对,只需在这里指定一下,底层和上层,选择什么不同的起始速率。搞定。
没错,就是这么不讲道理地智能化。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/0f0d1906c181f778e1dc0720ccd118a0.jpeg)
这次,训练了3个循环(cycle)。
注意,虽然准确率没有变化(一直是100%,也不可能提升了),但是损失数值,不论是训练集,还是验证集上的,都在减小。
这证明模型在努力地学东西。
你可能会担心:这样会不会导致过拟合啊?
看看就知道了,训练集上的损失数值,一直高于验证集,这就意味着,没有过拟合发生的征兆。
好了,拿着这个微调优化过后的模型,我们再来试试测试集吧。
首先我们强迫症似地看看测试集文件顺序有没有变化:
data.test_dl.dl.dataset.ds.x
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/fbbb9f63cc418acc0db0030930459449.jpeg)
既然没有变,我们就放心了。
下面我们执行预测:
preds,y = learn.get_preds(is_test=True)
然后,观察结果:
np.argmax(preds, axis=1)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/c1789616320d797fda4a2e53f5d5979e.png)
如你所见,这次全部判断正确。
可见,我们的微调,是真实有用的。
小结
本文为你介绍了如何用 fast.ai 1.0 框架进行图像深度迁移学习。可以看到, fast.ai 不仅简洁、功能强大,而且足够智能化。所有可以帮用户做的事情,它全都替你代劳。作为研究者,你只需要关注“数据”、“模型结构”和“损失度量”这3个关键问题,以改进学习效果。
我希望你不要满足于把代码跑下来。用你获得的300美金,换上自己的数据跑一跑,看看能否获得足够满意的结果。
祝(深度)学习愉快!
喜欢请点赞和打赏。还可以微信关注和置顶我的公众号“玉树芝兰”(nkwangshuyi)。
如果你对 Python 与数据科学感兴趣,不妨阅读我的系列教程索引贴《如何高效入门数据科学?》,里面还有更多的有趣问题及解法。
由于微信公众号外部链接的限制,文中的部分链接可能无法正确打开。如有需要,请点击文末的“阅读原文”按钮,访问可以正常显示外链的版本。
知识星球入口在这里:
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/14cc26afd1410f5fd2ec0854dc16468e.jpeg)