我乐了的博客

当 data_format 是'NHWC'时，列表的内容依次为：[0, 0], [pad_top,pad_bottom], [pad_left, pad_right], [0, 0]。当 data_format 是'NCHW'时，列表的内容依次为：[0, 0], [0, 0],[pad_top, pad_bottom], [pad_left, pad_right]。高级 API 是 tf.keras 中的 API，这一部分的 API 经过封装，用起来更加容易一些，代码也更为易读。

正如刚才所说，TensorFlow 是一个开源的机器学习框架，由谷歌开发与维护，并被用在谷歌的很多产品中，例如 Gmail、Google Photos、语音识别。但其实，无论是整个行业的研究领域还是实际工业中，TensorFlow 使用度都很高。图 1：TensorFlow 官网从应用角度来说，TensorFlow 有多语言支持和应用环境广泛这两个特点。多语言支持。

具体的操作就是，先从少数类数据中随机选择一个样本点 A，然后在同类别的数据中找到离 A 最近的 k 个样本点（下图中绿色的点），再从这 k 个样本点中随机选择一个点 B，在 AB 的连线上随机选择一个新的点 C，这个 C 就可以作为生成的数据。这种方法适用于属性的最大值和最小值未知，或者是有超出取值范围的数据的情况。这里给你留一个小作业，我提供了三种标准化的方式，其中有两种是没有绘图的，你可以参考我前面的代码，亲自动手，画一下标准化之后的数据分布图，完成之后可以在学习群中@Ricky，我们可以讨论一下。

Terminal 也是一个经常被使用到的工具，它是一个命令终端，在这个终端里你可以对操作系统进行操作，就是我们常见的 XShell、iterm2 这样的工具。那么，在其他的单元格中仍然可以使用这些变量、方法以及模块，不会因为我们换了一个单元格，之前的代码就失效了，因为它们都运行在同一个 Notebook 的内核中。上图中，我们在第一个单元格定义了一个 print_message 函数，然后在下一个单元格中写了一句说明，在最下面一个单元格中依然可以调用了第一个单元格中的 print_message 函数。

对于真实数据，其尺寸为 28x28x1；对于噪声数据，是一个向量的形式，其长度我们用 z_dimensions 代替。

我们可以通过限制自编码器中神经元的输出，只让很小的一部分神经元有非 0 的输出，也可以说是只激活一小部分的神经元。因为输入的数据中加入了随机噪音，就避免了网络只学习到简单的将输入复制到输出的这种恒等变换，强制让自编码器学习如何剔除数据中的噪音，然后再恢复到没有噪音的状态。在这个过程中，自编码器会先将输入数据压缩到一个较低维度的特征，然后利用这个较低维度的特征重现输入的数据，重现后的数据就是自编码器的输出。模型过拟合的时候，在训练集上会有非常优秀的表现，但是遇到训练集以外的数据就不会有很好的效果。

但是这又导致了另一个问题：如果句子的长度是任意的，那在句子比较长的情况下，计算量会急剧增大，比如为了限定节日为中国的，需要计算的长度就会很长，所以在真正使用的时候很不方便，准确性也不能保证。如果只看前面的，填写“吃饭”或者“放学”都是可以的，但从后面的内容来看，就限定为了“买”“换”等相关的词语。回忆一下咱们之前学到的 CNN 和全连接，不难发现模型的输入数据之间是没有关联的，比如上节课提到的图像分类，每次输入的图片与图片之间就没有任何关系，上一张图片的内容不会影响到下一张图片的结果。

最大池化因为提取的是区域内的特征最强烈的像素，所以一般在网络的前几层使用，用来保留图像的纹理信息，但走到深层的网络之后，特征图的尺寸越来越小，包含的语义信息逐渐增多，最大池化能够获取的信息就会减少。使用越多的滤波器，可以提取到越多的图像特征，神经网络也有更好的性能。举个例子，在一个如图 13 的全连接网络中，m-1 层有 1000 个神经元，m 层有 1000 个神经元，那么两层之间的全连接（图中蓝色的线）的数量就是 1000x1000=100 万个，如果神经网络有更多层，那连接的数量会变得更加庞大。

那什么是线性回归呢？顾名思义，就是用一种线性关系进行回归。回归与分类都属于有监督学习，分类预测的是一个类别，而回归预测的是一个数值，例如房价、天气的温度、股票的走势。假设我们有训练数据 D：其中 x=(x,x,...,x我们希望找到一个线性关系 f(x)，使 f(x)尽可能地模拟出数据 x 与 y 的关系，数学上的表达是f(x)≈y，也就是希望 f(x) 接受一个输入 x，它的输出能尽可能地接近真实结果 y。

反向传播的公式推导和证明是相对冗长和复杂的，在实际的深度学习的研发中，该部分的内容都是封装好的，所以咱们这里并不会对反向传播的数学定义、推导、证明进行详细的介绍。可以看出，函数 F 在 a 的偏导数相当于从 a 到 F 路径上的偏导值的乘积，同理 F 在 b 的偏导数等于 b 到 F 的所有路径上偏导值乘积的和。可以开始探讨反向传播的过程了。，如果每次更新梯度都要重新计算，那整个的运算量就很大，所以在实际的反向传播算法中，每个节点都会暂存从上层反馈回来的各个数据值信息，也就避免了重复计算，提高运算速度。

但是小朋友一般要多看几次才能记住狮子的样子，并且狮子尾巴的长短，皮毛颜色的深浅，鬃毛的浓密程度等，都会影响他的判断。训练模型也是一样的。模型每次拿到数据，都要将自己的输出和真实的结果进行比较，如果偏差很大，它就要对这个偏差进行反馈，想办法减少这种偏差，也就是学习更多的特征，直到学会如何对输入数据进行正确的判断。于是，在确认自己的位置之后，我们就可以对比当前所在位置的所有方向，寻找坡度下降最快的方向，然后往前走一步到达新的位置，再寻找新的位置所有方向中下坡度最陡的方向，如此反复，直到达到最低点。

一些小的实验性项目，可以将数据按一定的比例随机分成训练集和评估集，一般这个比例是 7：3 或 8：2，即训练集占所有数据的 70% 或者 80%，数据的其余部分作为评估集。最开始的几次阅读，每次读完一遍之后你都会有不同的收获。模型在训练的过程中，我们会让模型的输出不断接近真实的结果，从而持续更新参数，达到学习的目的，就像我们在学习中会不断修正我们所得到的知识。这个很好理解，好比我们要去参加高等数学的考试，而我们一直看的是英语的教材，或者是质量很差的“水货”高数教材，那么考试的结果显然不会很理想。

我将神经元的个数由 1 变为了 10，这 10 个神经元只负责自己力所能及的任务，它们只判断输入的图片是否为自己对应的数字，也就是神经元 0 只负责学习输入的图片是否为 0，神经元 1 只负责学习输入的图片是否为 1，以此类推。请看下图，蓝色的圆圈就是我们刚才讲的神经元，因为单个神经元的学习能力有限，所以我们对神经元进行了扩充。今天我们讲的神经元最基本的作用就是用于二分类问题，也就是说上文中的 δ，它在神经元中是一个 Sigmoid 函数，作用是将神经元的输出转换为概率，为二分类问题提供概率依据。

深度学习是一个很庞大的学科，用到的知识点也非常多，但是这不意味着你需要重新翻箱倒柜把大学的书本拿出来继续啃。本课时我对未来会用到的线性代数、微积分、信息论中的核心内容进行了介绍，在后续的课程中，我还会对遇到的知识进行及时的补充。