学习周报2024.6.29

学习时间：

2024.6.29—2024.7.5

学习内容：

本周主要学习深度学习方面的内容。

1. 吴恩达深度学习1.1-2.2
2. 《动手学深度学习》

学习笔记：

1.2 神经网络的介绍

图1.房价预测神经网络   x是神经网络中的输入层，例如图中输入的特征：size（空间大小）、bedrooms（卧室数量）、zip code（邮政编码）、wealth（富裕程度）等，通过这些输入的特征，神经网络工作后，就可以预测对应的价格，输出y。图中的圆圈被叫做“隐藏单元”，每个的输入都来自于所有的特征当你赋予x和y足够多的数据训练样本，神经网络可以计算出从x到y的精准映射函数。此时，你输入一个x，就可以把它映射成y。

1.3 用神经网络进行监督学习
  在监督学习中，输入x，通过学习训练得到一个函数，就可以映射输出y。例如：房价预测、在线广告、计算机视觉、语言识别、机器翻译、无人驾驶等等，
  图像领域里，常用卷积神经网络（CNN）。RNN通过在图像上滑动各种卷积核，提取出图像的局部特征，层层叠加，最后得到复杂的图像特征。

图2.卷积神经网络   序列数据里，例如音频，常用循环神经网络（RNN）。RNN是一类以序列数据为输入，再以序列数据为输出，在序列的演进方向进行递归且所有节点（循环单元）按链式连接的神经网络。一些更复杂的应用，例如翻译软件、无人驾驶，需要使用更复杂的RNNs。

图3.RNN网络   一个典型的RNN网络包含一个输入xt，一个输出ht和一个神经网络单元A。和普通的神经网络不同的是，RNN网络的神经网络单元A不仅仅与输入和输出存在联系，其与自身也存在一个回路。这种网络结构就揭示了RNN的实质：上一个时刻的网络状态信息将会作用于下一个时刻的网络状态。

2.1二分分类
  这节课主要学会如何处理训练集。
  神经网络的训练过程可以分为：前向传播和反向传播两个独立的部分。
  逻辑回归(logistic regression)是一个用于二分类(binary classification)的算法。例如识别猫的二分类问题中，我们的目标就是习得一个分类器，它以图片的特征向量作为输入，然后预测输出结果为 1 还是 0，也就是预测图片中是否有猫。

图4.二分类识别猫   计算机中为了保存一张图片，需要保存三个矩阵，它们分别对应图片中的红、绿、蓝三种颜色通道，如果图片大小为 64x64 像素，那么就有三个规模为 64x64 的矩阵，分别对应图片中红、绿、蓝三种像素的强度值。把图中所有的像素都取出来，例如 255、231 等等，直到取完所有的红色像素，接着最后是红色像素和蓝色像素255、134、…、255、134 等等，直到得到一个特征向量x来表示这张图。如果图片的大小为 64x64 像素，那么向量x的总维度，将是 64 乘以 64 乘以 3，这是三个像素矩阵中像素的总量。在这个例子中结果为 12,288，现在我们用Xn = 12,288，来表示输入特征向量的维度。

  一些符号定义 ：
  x：表示一个n_x维数据，为输入数据，维度为(n_x, 1)；
  y：表示输出结果，取值为(0,1)；
  (x⁽ⁱ⁾,y⁽ⁱ⁾)：表示第 i 组数据，可能是训练数据，也可能是测试数据，此处默认为训练数据；
  X=[x⁽¹⁾,x⁽²⁾,…,x^(m)]：表示所有的训练数据集的输入值，放在一个 n_x × m的矩阵中，其中m表示样本数目;
  Y =[y⁽¹⁾,y⁽²⁾,…,y^(m)]：：对应表示所有训练数据集的输出值，维度为1 × m。
用一对(x, y)来表示一个单独的样本，x代表n_x维的特征向量，y表示标签(输出结果)只能为 0 或 1。 而训练集将由m个训练样本组成，其中(x⁽¹⁾,y⁽¹⁾)表示第一个样本的输入和输出，(x⁽²⁾,y⁽²⁾)表示第二个样本的输入和输出，直到最后一个样本(x^(m),y^(m))，然后所有的这些一起表示整个训练集。有时候为了强调这是训练样本的个数，会写作M_train，当涉及到测试集的时候，我们会使用M_train来表示测试集的样本数。
2.2逻辑回归(Logistic Regression)
  回归学习算法适用于二分类问题。对于二元分类问题来讲，给定一个输入特征向量X，它可能对应一张图片，你想识别这张图片识别看它是否是一只猫或者不是一只猫的图片，你想要一个算法能够输出预测，你只能称之为$\hat{y}$，也就是你对实际值 y 的估计。你想让$\hat{y}$表示实际值y等于 1的机率的话，$\hat{y}$应该在 0 到 1 之间。$\hat{y}$=e(w^Tx+b)，这叫做sigmoid函数。

图5.sigmoid函数

  sigmoid函数图像如上图所示，把水平轴作为z轴，那么关于z的 sigmoid 函数是平滑地从 0 走向 1，曲线与纵轴相交的截距是 0.5，我们通常都使用z来表示w^Tx+b的值。
  当你实现逻辑回归时，你的工作就是去让机器学习参数w以及b，这样才使得$\hat{y}$成为对y = 1这一情况的概率的一个很好的估计。