迁移学习：数据不足时如何深度学习

最新推荐文章于 2024-06-09 09:30:00 发布

Sky-Rush

最新推荐文章于 2024-06-09 09:30:00 发布

阅读量198

点赞数

本文链接：https://blog.csdn.net/qq_15051497/article/details/88892762

版权

深度学习常因需要海量数据而面临挑战，但迁移学习技术允许使用预训练模型，减少所需数据量。通过预训练模型学习数据中的模式，然后针对特定问题训练较小的网络，从而解决数据不足的问题。迁移学习在图像识别、文字识别等领域有广泛应用，并可以通过服务如NanoNets简化其使用。

摘要由CSDN通过智能技术生成

开发十年，就只剩下这套架构体系了！ >>>

　　策划｜Tina 编辑｜大愚若智

　　使用深度学习技术解决问题的过程中，最常见的障碍在于训练模型过程中所需的海量数据。需要如此多的数据，原因在于机器在学习的过程中会在模型中遇到大量参数。在面对某一领域的具体问题时，通常可能无法得到构建模型所需规模的数据。然而在一个模型训练任务中针对某种类型数据获得的关系也可以轻松地应用于同一领域的不同问题，这就是所谓的迁移学习。

我认为实现人工智能的难度无异于建造火箭。需要有一个强大的引擎，还有大量的燃料。如果空有强大的引擎但缺乏燃料，火箭肯定是无法上天的。如果只有一个单薄的引擎，有再多燃料也无法起飞。如果要造火箭，强大的引擎和大量燃料是必不可少的。以此来类比深度学习的话，深度学习引擎可以看作火箭引擎，而我们为算法提供的海量数据可以看作是燃料。 — Andrew Ng

最近深度学习技术突然开始大肆流行，并在语言翻译、玩策略游戏，以及无人驾驶汽车等涉及到数百万数据量的领域取得了醒目的成果。使用深度学习技术解决问题的过程中，最常见的障碍在于训练模型过程中所需的海量数据。需要如此多的数据，原因在于机器在学习的过程中会在模型中遇到大量参数。

例如这些模型中常见的参数数量范围包括：

　　深度学习

神经网络（即深度学习）是一种分层式结构，但又能堆叠在一起（就像乐高积木）。

深度学习技术其实就是一种大规模神经网络，我们可以将这种网络看作一种流程图，数据从一端进入，相互引用/了解后从另一端输出。我们还可以将神经网络拆分成多个部分，从任何一部分中得到自己需要的推理结果。也许无法得到有意义的结果，但依然可以这样做，例如Google DeepDream就是这样做的。

　　规模（模型） ∝ 规模（数据） ∝ 复杂度（问题）

在模型的规模和所需数据量的规模之间存在一种有趣的近似于线性的关系。基本推论在于，对于特定的问题（例如类别的数量），模型必须足够大，以便得到数据之间的关系（例如图片中的材质和形状，文本中的语法，以及语音中的音素）。模型中的前序层可以识别所输入内容中不同组成之间的高级别关系（例如边缘和模式），后续层可以识别有助于最终做决策所需的信息，这些信息通常有助于区分不同的结果。因此如果问题的复杂度较高（例如图像分类），所需的参数数量和数据量就会非常大。