TensorFlow：实战Google深度学习框架第二版——第四章

最新推荐文章于 2022-11-07 20:49:45 发布

m0_37857151

最新推荐文章于 2022-11-07 20:49:45 发布

阅读量1.2k

点赞数 2

分类专栏： tensorflow

本文链接：https://blog.csdn.net/m0_37857151/article/details/86663662

版权

本文深入探讨了深度学习中深层神经网络的重要性，阐述了线性模型的局限性，激活函数如何实现非线性转换，以及如何利用多层网络解决异或问题。接着，介绍了损失函数的定义，包括分类和回归问题的经典损失函数，并提到了自定义损失函数。文章还讨论了神经网络的优化算法，并提出了进一步优化的策略，如学习率设置、防止过拟合的方法和滑动平均模型的应用。

摘要由CSDN通过智能技术生成

第四章——深层神经网络

4.1深度学习与深层神经网络

维基百科对深度学习的精确定义为“一类通过多层非线性变换对高复杂性数据建模算法的合集”。

深度学习有两个非常重要的特性：多层和非线性。

4.1.1线性模型的局限性

在线性模型中，模型的输出为输入的加权和。假设一个模型的输出y和输入x满足 $y=\sum_{i}w_{i}x_{i}+b$ ,那么这个模型就是一个线性模型。被称为线性模型是因为当模型的输入只有一个的时候，x和y会形成二维坐标系上的一条直线。类似的，当模型有n个输入时，x和y形成了n+1维空间中的一个平面。而一个线性模型中通过输入得到输出的函数被称为一个线性变换。

线性模型的最大特点是任意线性模型的组合仍是线性模型。因此，只通过线性变换，任意层的全连接神经网络和单层神经网络模型的表达能力没有任何区别，并且都是线性模型。（就是说，只有一层神经网络就可以等同于任意层的全连接神经网络，只要这一层中神经元个数足够多，就可以达到任意层的全连接神经网络模型的表达能力）

如果一个问题可以通过一条直线来划分，那么线性模型就可以用来解决这个问题。所谓复杂问题，至少是无法通过直线（或者高维空间的平面）划分的，在现实生活中，绝大部分的问题都是无法线性分割的。

上图左为线性可分，右为线性不可分。

4.1.2激活函数实现去线性化

如果将每一个神经元（也就是神经网络中的节点）的输出通过一个非线性函数，那么整个神经网络模型也就变成非线性模型了，这里用的非线性函数就是激活函数。

比如，对于上面的线性不可分问题，使用ReLU激活函数后效果如下：

常用的激活函数：

目前TensorFlow提供了多种不同的非线性激活函数，如tf.nn.relu，tf.sigmoid，tf.sigmoid，tf.tanh等。

4.1.3多层网络解决异或问题

异或问题直观来说就是如果两个输入的符号相同时（同时为正或者同时为负）则输出为0，否则（一正一负）输出为1.

单层神经网络无法解决异或问题，而有了隐藏层的多层神经网络可以解决异或问题。

深层神经网络实际上有组合特征提取的功能，这个特性对于解决不易提取特征向量的问题（比如图片识别、语音识别等）有很大帮助。这也是深度学习在这些问题上更加容易取得突破性进展的原因。

4.2损失函数定义

神经网络模型的效果以及优化的目标是通过损失函数（loss function）来定义的。

4.2.1经典损失函数

分类问题和回归问题是监督学习的两大种类。

分类问题是预测离散值的输出，如0，1，2，......。

回归问题预测的连续值输出，是具体数值，如房价，销售值等。

分类问题

通过神经网络解决多分类问题最常用的方法使设置n个输出节点，其中n为类别的个数。对每一个样例，神经网络可以得到一个n维数组作为输出结果。数组中的每一个维度（也就是每一个输出节点）对应一个类别。在理想情况下，如果一个样本属于类别k，那么这个类别所对应的输出节点的输出值应该为1，而其他节点的输出都为0。如MNIST手写识别one_hot编码，对应位数的数值为1， [0,0,1,0,0,0,0,0,0,0,0]，神经网络模型的输出结果越接近 [0,0,1,0,0,0,0,0,0,0，0]越好。

那么判断一个输出向量和期望的向量有多接近，交叉熵（cross entropy）是常用的评判方法之一。交叉熵刻画了两个概率分布之间的距离，它是分类问题中使用比较广的一种损失函数。

给定两个概率分布p和q，通过q来表示p的交叉熵为：