学习笔记5 《吴恩达深度学习》Deep Learning

03-1.2 监督学习与神经网络

目前有大量的关于神经网络很夸张的宣传，并且其中有些宣传也合理地说明了他们究竟有多奏效，但是事实上到目前为止，几乎所有通过神经网络创造的经济价值，都是利用了其中一种机器学习方式——监督学习。让我们来看看其意义，并且举一些例子来帮助理解。

在监督学习中，你有一些输入x，并且你想通过x学习到一个函数，这个函数能够将x映射到输出y。比如说，现在我们有一个预测房价的应用软件，你可以根据你输入的房屋特征x去估计房屋的售价y。这里还有一些其他的例子来说明，神经网络是多么的有效。或许在当前最有利可图的深度学习应用就是在线广告，也许并不是最鼓舞人心的，但确实是非常有利可图的。在在线广告应用当中，根据你在网站上的输入信息及用户的一些其他信息 向你展示与你信息相关的广告。神经网络已经能够很好地预测你是否会点击某一个广告。对于许多公司而言，向你和用户展示你们最有可能点击的广告，是一个非常有利可图的神经网络应用。因为一旦拥有了向用户推荐他们可能会点击的广告的能力，这将会直接冲击一些大型在线广告商的利益底线。机器视觉在过去的几年里飞速发展，这几乎都归功于深度学习技术。你也许会输入一张图片，并且想得到一个索引，例如说索引范围为1到1000，每个索引都代表了一种图片，共有1000种不同的图片。你也许会用它来，标记照片类别，以便分类管理。我认为语音识别目前的进展情况，也是非常令人兴奋的。当你输入一段语音给神经网络时，它能将语音转化为文本。由于深度学习技术的发展，机器翻译也向前迈出了一大步。你可以给神经网络输入一个英文句子，并且直接输出英文段落的翻译结果。例如输出对应的中文段落。在自动驾驶技术中，你可能可以输入一幅包含了车辆前方的信息的图像，又或再加上一些雷达扫描信息。基于这些信息，神经网络经过训练后就能够告诉你，路面上其他汽车的位置信息。所以神经网络成为了自动驾驶技术的关键组成部分。

很多有价值的发明都是通过神经网络在特定问题下来巧妙地建立x对应y的函数映射关系，并且通过监督学习拟合数据，成为某个复杂系统的一部分，例如自动行驶的交通工具。

事实证明，(结构)稍有不同的神经网络在不同的应用领域都非常的有用。例如，在这之前的视频中，房屋售价预测应用里，我们用了非常标准的神经网络结构，对吧？也许在预测房价和在线广告里，用的都是相对标准的神经网络结构，就像我们之前看到过的那样。

在图像应用中，我们常常将卷积结构放在神经网络结构当中，简称为CNN。而在序列化数据中，比如说音频是时序组成的数据，对吧？音频需要完整的播放才能表达其意，所以一维时间序列或一维时序序列，最能自然而然地代表音频的数据结构。在这种序列化数据中 常常用到RNN，即所谓的循环神经网络。语言，比如英语和中文，字母或汉字，都在序列化数据中有自己出现的时序。所以语言也是能够被自然而然地表现为序列化数据，并且更复杂版本的RNNs经常用在上述的应用当中。更复杂的应用，像自动驾驶技术，当你有一个图像时，这可能意味着更多的CNN卷积神经网络结构和雷达信息。这是完全不同的。你所需要的结构也许更加定制化，更加复杂，混合着其他结构的神经网络结构。

所以，这些应用只是将标准的CNN和RNN结构更加的具体化。所以从字面意思上看，你可能会看到这样的图像，如最左边的图片所示。这是标准的神经网络结构。如中间的图片所示。这是一个卷积神经网络的例子，并且在之后的课程中，我们会详细介绍这幅图片的含义相，和如何实现并部署卷积神经网络。但是卷积神经网络经常用于图像数据。如最右边的图片所示。你将会在之后的课程中 学习如何实现并部署循环神经网络。循环神经网络对于一维序列化数据有着很好的表现。一维序列化数据也许就是时序数据。

你也许听说过机器学习能够应用在，结构化和非结构化数据中。这些术语的意思是，结构化数据是基于数据库的数据。举个例子，在房价预测中，你也许会有一个数据库或列表。它将告诉你房屋面积和卧室数量等信息。这就是结构化数据。又或预测用户是否会点击某一个广告时，你也许会有关于这个用户的信息，例如年龄，会有关于这则广告的信息和一些标签来帮助你进行预测。这也是结构化数据，意思是每一个特征，例如房屋面积、卧室数量、用户年龄，它们都有清晰的定义。

相对来说，非结构化数据则是，类似于音频、原始音频、图片或文本这种数据。这里特征也许是图片中的像素值或一段文本中的独立单词。历史上，对于非结构化数据的学习，常常比对结构化数据的学习要困难得多。实际上，人类可以很好地理解语音和图像，并且文字相对于人类的历史来说，是很晚才被发明出来的。但是人类可以很好地解释这种非结构化数据。在神经网络崛起后，最令人兴奋的事情之一就是，它以及它所带来的深度学习，使得计算机能够比前些年更好地解释非结构化数据。并且深度学习技术创造了很多机会，去实现许多新的、令人激动的应用。例如语音识别，图像识别，在文本上的自然语言处理技术。

其应用数量远远超过两到三年前。我认为因为人们对理解非结构化数据有着与生俱来的直觉，你也许从媒体上听说过，神经网络在非结构数据中取得成功，是因为神经网络从图片中识别猫是一件很酷的事情。我们都认为这是一件很酷的事，我们都知道这意味着什么。但是，神经网络所创造出的许多短期经济价值，仍然聚焦在结构化数据上，例如更好的广告系统、更好的利润推荐系统，在海量的数据库上有更好的处理数据的能力，很多公司都基于这些做出更加精确的预测。

所以在这门课中 我们学习的很多技术都将用于结构化和非结构化数据。为了解释这些算法，我们将会举出再多一点点的例子，这些例子都是基于非结构化数据的。不过，当你的团队想应用神经网络时，我希望你们能够同时在这两种数据上找到应用点。

所以，神经网络已经变革了监督学习方式，并且正在创造出巨大的经济价值。不过，神经网络背后基础的技术原理发展了几十年，为什么神经网络直到现在才表现得如此之好？在下一段视频中，我们将讨论原因，神经网络在非常近的这几年里，变成你手里非常有力的工具。