神经网络和深度学习 - 深度学习概论-CSDN博客

为什么80%的码农都做不了架构师？>>>

概述

笔者在网易云课堂微专业竟然看到深度学习工程师的课程，随即开始学习deeplearning

深度学习概论

1.1 欢迎来到深度学习工程师微专业

授课老师"吴恩达"

1.2 什么是神经网络

"Deep Learning深度学习"指训练神经网络，有时候神经网络的规模很庞大。
笔者注：注意神经网络分为深度神经网络和广度神经网络

房价预测

假设有一个六间房屋的数据集，以知房屋的面积以及对应的价格。想要找到一个函数，根据房屋面积，预测房价。
在传统方式中，可以使用线性回归，来对这些数据集进行计算。但由于人类肯定能够知道，价格永远不会为负数。因此，直线不合适，应当在初始进行弯曲，结束于0。这样，我们对接近直线的部分进行拟合。
我们可以使用神经网络，我们把房屋的面积，作为神经网络的输入，房屋面积称为x，通过神经网络的一个独立的神经元，获得结果房屋价格y。神经元实现了传统方法中的内容。

在神经网络论文中，我们经常可以看到起始阶段，一般为0，然后就是一条直线，这个函数被称作ReLU函数。全称为"修正线性单元"rectified linear unit。
大型神经网络，是把这些单个神经元堆叠起来形成的。可以把这些神经元想象成单独的乐高积木。通过搭建和相互连接形成更大的神经网络。

复杂的例子

不仅仅用房屋的面积来预测价格，现在你还有一些房屋的其他特征，知道了一些别的信息，比如卧室的数量。通过房屋面积和卧室数量，确定房屋居住人数。这个性质和面积大小相关与卧室数量相关。
邮编或许能够作为一个特征，判断步行程度，有些人喜欢步行程度高的。
根据邮编和富裕程度从而判断附近学校的质量。
最后，根据各种参数，判断出价格。

这个例子中，输入的值是4个，预测的的价格y。把这些独立的神经元叠加起来，就形成了稍微大一点的神经网络。

神经网络的神奇在于，你要做的只是输入x，就能得到输出y。不管训练集有多大。所有的中间过程，它都会自己完成。你所做的输入特征，输出y。内部特征，让神经网络自己决定各个神经元的特征。

如果给出足够的x，y的训练集，就能够获得结果。

1.3用神经网络进行监督学习

几乎所有由神经网络创造的经济价值都基于其中一种机器学习，我们称为“监督学习”supervised learning。在监督学习中，输入x，希望通过函数映射到输出y。比如我们之前看到的房价预测的例子，输入是房屋特性x，结果输出房屋价格y。

在线广告是深度学习当中获益最深的，给网站输入广告信息、用户信息、等，网站会考虑是否给你看这个广告。还有一些用户信息，例如你是否会点击，则将会向你展示你最可能进行点击的广告。这就是神经网络在多家公司赚取无法想象的高额利润的应用方式。

神经网络得益于深度学习还可以用用输入图像获取图片，可以用来给图片打标签。

深度学习在语音方面也非常令人兴奋，能够语音转换成为文字。

语言翻译得益于深度学习，能够进行翻译

图片+雷达基于神经网络告诉其他汽车位置。

注意：你要机智的选择x和y。才能够解决特定的问题。然后把监督学习这个组件嵌入到更大型的系统中，比如无人驾驶中进行再训练。深度学习技术使用分类：例如房地产、在线广告使用的是经典的神经网络。图像领域经常应用卷积神经网络CNN。对于序列数据，音频中含有时间成分，一维时间序列，对于序列数据，经常使用循环神经网络RNN。语言翻译也是序列数据是更复杂的RNNs。对于更复杂自动驾驶你有图片，可能需要CNN架构去处理，而雷达信息会更不一样，你需要混合的神经网络结构。

监督学习可以使用结构化数据和非结构化数据。结构化数据是数据库。

1.4 为什么深度学习会兴起？

随着数据量的增长，垃圾邮件过滤的准确率提高，而起步时的准确率并不高。性能一开始，增加数据时会上升，但是一段时间之后，性能进入平台期。假设水平轴拉的很长很长。这是因为这些模型无法处理海量数据内容。首先，由于现代社会的发展，手机海量数据轻而易举。随着各种手机、客户端等内容，我们收集到了大量的数据，远超过传统学习算法，所能够承受的规模。现在的机器学习算法，随着数据量的增长，数据准确性越来越高。如果想达到这样高的准确率，需要两点，第一个是需要训练一个规模足够大的神经网络，以发挥数据规模量巨大的优点；另外一点，需要足够多的数据内容。
**注意：**这里说的数据量，是指带标签的数据量。必须有足够的（x，y），我们后面会使用m来标示训练集的规模。当你训练集不足时，效果仅仅取决于你手工设计的组件。可能会发生，由于参数的调整，起先SVM表现会更好，所以在数据量小的时候，各种算法并不能定义很明确。最终的性能，更多取决于手工设计组件的技能，以及算法处理相关的细节。只有当数据量非常巨大时，我们才能够看到机器学习稳定地领先其他算法。

数据量
计算性能
机器学习算法 - 为了让神经网络运行得更快
- sigmoid函数转变为ReLU函数，梯度达到曲率

需要神经网络高速计算，很多时候是凭直觉，你有了新想法，然后写代码实现想法，然后跑一下实验。然后根据结果，去修改神经网络中的一些细节。当神经网络需要很长时间训练，循环速度对你的效率影响巨大。

1.5关于这门课

没有具体内容

附录

线性回归

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w'x+e，e为误差服从均值为0的正态分布。
回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。