1.3 用神经网络进行监督学习-深度学习

用神经网络进行监督学习

        关于神经网络也有很多的种类，考虑到它们的使用效果，有些使用起来恰到好处，但事实表明，到目前几乎所有由神经网络创造的经济价值，本质上都离不开一种叫做监督学习的机器学习类别，让我们举例看看。

        在监督学习中你有一些输入  ，并且你想通过  学习到一个函数，这个函数能够将  映射到输出  。比如我们之前提到的房价预测的例子，它可以根据你输入的特征  去估计房价  。我这里还有一些其它的例子，来说明神经网络已经被高效应用到其它地方。

        如今应用深度学习获利最多的一个领域，可能就是在线广告。具体就是在在线广告应用中，根据你在网站上输入的信息及用户的其他信息，向你展示与你信息有关的广告。神经网络已经能够非常擅长地预测你是否会点开这个广告。对于许多公司而言，这是一个非常有利可图的神经网络应用。因为一旦拥有了向用户推荐它们可能会点击的广告的能力，这将会直接冲击一些大型在线广告商的利益。

        计算机视觉在过去的几年里也取得了长足的进步，这几乎都归功于深度学习技术。你也许会输入一个图像，然后想输出得到一个索引，例如索引范围从1到1000，每个索引代表一种图片。共有1000种不同的图片。你也许会用它来标记照片类别，以便分类管理。

        深度学习最近在语音识别方面的进步也是非常令人兴奋的，当你输入一段语音给神经网络时，它能将语音转化成文本。得益于深度学习，机器翻译也有很大的发展。你可以给神经网络输入一段英文句子，并且直接输出英文段落的翻译结果。

        在自动驾驶技术中，你可能输入一幅包含车辆前方信息的图像，又或者加上一些雷达扫描信息，基于这些信息，神经网络经过训练以后就能告诉你路上其他车辆的信息。所以神经网络就成为了自动驾驶技术的关键组成部分。

        很多有价值的发明都是通过神经网络在特定问题下，巧妙地建立  对应  的函数映射关系，并且通过监督学习拟合数据成为某个复杂系统的一部分，例如自动驾驶的交通工具。事实证明结构稍有不同的神经网络，在不同的领域应用不同。比如说，应用到我们在上一个视频提到的房地产领域，我们不就使用了一个普遍标准神经网络架构吗？

        也许在预测房价和在线广告中用的都是相对标准的神经网络。在图像应用中，我们常常把卷积结构（CNN）放在神经网络结构中。在序列化数据，比如音频是时序组成数据，音频需要完整地播放才能表达其意，所以作为一维时间序列（即一维时许序列）最难自然而然地代表音频的数据结构。在这种序列化数据中，常常用到RNN（即循环神经网络）。其中语言，比如英语和汉语字母表或单词都在序列化数据中有自己出现的时序。

        更复杂的应用，像自动驾驶技术，当你有一个图像时，这可能意味着更多的CNN卷积神经网络结构和雷达信息。你所需的结构可能需要一个更定制的，或者一些更复杂的混合的神经网络结构。所以这些应用只是将标准的CNN和RNN结构更具体化。

---

        在文献中你可能见过这样的图片，这是一个标准的神经网络：

---

        你也可能见过这样的图片，这是一个卷积神经网络的例子：

         我们会在后面的课程了解这幅图的原理和实现，卷积网络(CNN)通常用于图像数据。

---

        下面这图片是RNN：

         递归神经网络(RNN)对于一维序列化数据有着很好的表现。

---

        你可能也听说过机器学习能够应用在结构化数据（Structured Data）和非结构化数据（unstructured Data）中。

        结构化数据是基于数据库的数据。例如，在房价预测的例子中，你也许会有一个数据库或列表，它将告诉你房屋的面积和卧室数量等信息。又或者预测用户是否会点击某一广告，你可能会得到关于用户的信息，比如年龄以及关于广告的一些信息，和一些标签来帮助你进行预测点击。这就是结构化数据，意思是每个特征，比如说房屋大小卧室数量，或者是一个用户的年龄，它们都有一个很清晰的定义。

        相对来说，非结构化数据则是类似音频（Audio）、原始音频、图片或文本这种数据，这里的特征也许是图片中的像素值或一段文本中的独立单词。历史上看，与结构化数据比较，让计算机理解非结构化数据很难。但实际上，人类可以很好地理解语言和图像。

        在神经网络崛起后，最令人兴奋的事情之一就是神经网络和它所带来的深度学习，使得计算机能够比之前更好地解释非结构化数据。并且深度学习技术创造了很多机会，去实现很多新的应用。例如语音识别、图像识别、在文本上的自然语言处理技术，其应用数量远超之前的两三年。

       我认为因为人们天生就有本领去理解非结构化数据，你可能从媒体听说了神经网络在非结构化数据取得成功，当神经网络能识别了一只猫时那真的很酷，我们都知道那意味着什么。但是，神经网络所创造出的许多短期经济价值仍然聚焦在结构化数据上，比如更好的广告系统、更好的利润建议，还有更好的处理大数据的能力。许多公司都根据神经网络能做出准确的预测。

        因此在这门课中，我们将要讨论结构化数据和非结构化数据，为了解释算法，我们将尽可能多的使用非结构化数据的例子。但是我希望你能发现，神经网络算法对于这两种数据（结构化和非结构化数据）都能找到应用点。

        现在神经网络已经变革了监督学习的方式，正创造着巨大的经济价值。那么为什么神经网络现在才刚刚起步，效果那么好，下一集视频中我们将讨论原因。