03-1.2 监督学习与神经网络
目前有大量的关于神经网络很夸张的宣传,并且其中有些宣传也合理地说明了他们究竟有多奏效,但是事实上到目前为止,几乎所有通过神经网络创造的经济价值,都是利用了其中一种机器学习方式——监督学习。让我们来看看其意义,并且举一些例子来帮助理解。
在监督学习中,你有一些输入x,并且你想通过x学习到一个函数,这个函数能够将x映射到输出y。比如说,现在我们有一个预测房价的应用软件,你可以根据你输入的房屋特征x去估计房屋的售价y。这里还有一些其他的例子来说明,神经网络是多么的有效。或许在当前最有利可图的深度学习应用就是在线广告,也许并不是最鼓舞人心的,但确实是非常有利可图的。在在线广告应用当中,根据你在网站上的输入信息及用户的一些其他信息 向你展示与你信息相关的广告。神经网络已经能够很好地预测你是否会点击某一个广告。对于许多公司而言,向你和用户展示你们最有可能点击的广告,是一个非常有利可图的神经网络应用。因为一旦拥有了向用户推荐他们可能会点击的广告的能力,这将会直接冲击一些大型在线广告商的利益底线。机器视觉在过去的几年里飞速发展,这几乎都归功于深度学习技术。你也许会输入一张图片,并且想得到一个索引,例如说索引范围为1到1000,每个索引都代表了一种图片,共有1000种不同的图片。你也许会用它来,标记照片类别,以便分类管理。我认为语音识别目前的进展情况,也是非常令人兴奋的。当你输入一段语音给神经网络时,它能将语音转化为文本。由于深度学习技术的发展,机器翻译也向前迈出了一大步。你可以给神经网络输入一个英文句子,并且直接输出英文段落的翻译结果。例如输出对应的中文段落。在自动驾驶技术中,你可能可以输入一幅包含了车辆前方的信息的图像,又或再加上一些雷达扫描信息。基于这些信息,神经网络经过训练后就能够告诉你,路面上其他汽车的位置信息。所以神经网络成为了自动驾驶技术的关键组成部分。
很多有价值的发明都是通过神经网络在特定问题下来巧妙地建立x对应y的函数映射关系,并且通过监督学习拟合数据,成为某个复杂系统的一部分,例如自动行驶的交通工具。
事实证明,(结构)稍有不同的神经网络在不同的应用领域都非常的有用。例如,在这之前的视频中,房屋售价预测应用里,我们用了非常标准的神经网络结构,对吧?也许在预测房价和在线广告里,用的都是相对标准的神经网络结构,就像我们之前看到过的那样。
在图像应用中,我们常常将卷积结构放在神经网络结构当中,简称为CNN。而在序列化数据中,比如说音频是时序组成的数据,对吧?音频需要完整的播放才能表达其意,所以一维时间序列或一维时序序列,最能自然而然地代表音频的数据结构。在这种序列化数据中 常常用到RNN,即所谓的循环神经网络。语言,比如英语和中文,字母或汉字,都在序列化数据中有自己出现的时序。所以语言也是能够被自然而然地表现为序列化数据,并且更复杂版本的RNNs经常用在上述的应用当中。更复杂的应用,像自动驾驶技术,当你有一个图像时,这可能意味着更多的CNN卷积神经网络结构和雷达信息。这是完全不同的。你所需要的结构也许更加定制化,更加复杂,混合着其他结构的神经网络结构。
所以,这些应用只是将标准的CNN和RNN结构更加的具体化。所以从字面意思上看,你可能会看到这样的图像,如最左边的图片所示。这是标准的神经网络结构。如中间的图片所示。这是一个卷积神经网络的例子,并且在之后的课程中,我们会详细介绍这幅图片的含义相,和如何实现并部署卷积神经网络。但是卷积神经网络经常用于图像数据。如最右边的图片所示。你将会在之后的课程中 学习如何实现并部署循环神经网络。循环神经网络对于一维序列化数据有着很好的表现。一维序列化数据也许就是时序数据。
你也许听说过机器学习能够应用在,结构化和非结构化数据中。这些术语的意思是,结构化数据是基于数据库的数据。举个例子,在房价预测中,你也许会有一个数据库或列表。它将告诉你房屋面积和卧室数量等信息。这就是结构化数据。又或预测用户是否会点击某一个广告时,你也许会有关于这个用户的信息,例如年龄,会有关于这则广告的信息和一些标签来帮助你进行预测。这也是结构化数据,意思是每一个特征,例如房屋面积、卧室数量、用户年龄,它们都有清晰的定义。
相对来说,非结构化数据则是,类似于音频、原始音频、图片或文本这种数据。这里特征也许是图片中的像素值或一段文本中的独立单词。历史上,对于非结构化数据的学习,常常比对结构化数据的学习要困难得多。实际上,人类可以很好地理解语音和图像,并且文字相对于人类的历史来说,是很晚才被发明出来的。但是人类可以很好地解释这种非结构化数据。在神经网络崛起后,最令人兴奋的事情之一就是,它以及它所带来的深度学习,使得计算机能够比前些年更好地解释非结构化数据。并且深度学习技术创造了很多机会,去实现许多新的、令人激动的应用。例如语音识别,图像识别,在文本上的自然语言处理技术。
其应用数量远远超过两到三年前。我认为因为人们对理解非结构化数据有着与生俱来的直觉,你也许从媒体上听说过,神经网络在非结构数据中取得成功,是因为神经网络从图片中识别猫是一件很酷的事情。我们都认为这是一件很酷的事,我们都知道这意味着什么。但是,神经网络所创造出的许多短期经济价值,仍然聚焦在结构化数据上,例如更好的广告系统、更好的利润推荐系统,在海量的数据库上有更好的处理数据的能力,很多公司都基于这些做出更加精确的预测。
所以在这门课中 我们学习的很多技术都将用于结构化和非结构化数据。为了解释这些算法,我们将会举出再多一点点的例子,这些例子都是基于非结构化数据的。不过,当你的团队想应用神经网络时,我希望你们能够同时在这两种数据上找到应用点。
所以,神经网络已经变革了监督学习方式,并且正在创造出巨大的经济价值。不过,神经网络背后基础的技术原理发展了几十年,为什么神经网络直到现在才表现得如此之好?在下一段视频中,我们将讨论原因,神经网络在非常近的这几年里,变成你手里非常有力的工具。