吴恩达MachineLearning-Week4

原笔记网址：https://scruel.gitee.io/ml-andrewng-notes/week4.html

红色字体为自己的标注、绿色字体为自己的感想。

目录

8 神经网络：表达(Neural Networks: Representation)

• 8.1 非线性假设(Non-linear Hypotheses)
• 8.2 神经网络和大脑(Neurons and the Brain)
• 8.3 模型表示1(Model Representation I)
• 8.4 模型表示2(Model Representation II)
• 8.5 例子和直观理解1(Examples and Intuitions I)
• 8.6 例子和直观理解2(Examples and Intuitions II)
• 8.7 多类别分类(Multiclass Classification)

8 神经网络：表达(Neural Networks: Representation)

8.1 非线性假设(Non-linear Hypotheses)

理论上我们可以用多项式函数去近似任意函数（泰勒极数(Taylor series)），从而可得到任意问题的拟合曲线。

在实际处理时，特征量通常会很多，如果再构造高阶多项式等，特征数量将会急剧增加，这使得回归模型的复杂度太高，可见并不合适。神经网络无需构造高阶多项式，在特征量很大时也可以处理的很好。

那特征能有多大呢？下面是一个计算机视觉中的例子：

以下是一个例子：

8.2 神经网络和大脑(Neurons and the Brain)

脑科学家通过对动物实验，发现大脑中专用于处理听觉信号的脑皮层也能处理其他诸如视觉等信号，即如果切断其与耳朵的联系，将其与眼睛相连，则这块负责听觉的脑皮层区域也能接受并处理视觉信号，从而学会“看”。脑科学家通过这类换源实验，就推论假设大脑的学习算法只有一种(“one learning algorithm” hypothesis)。那么如果能找出这种学习算法并应用于计算机中，那梦想中和人一样的人工智能就成真了。

神经网络就源于模拟人类大脑，但其需要的计算量很大。随着计算机硬件性能的提高，神经网络逐渐从衰落变为流行，如今已广泛地被应用在各行各业中。

8.3 模型表示1(Model Representation I)

既然神经网络模仿的是大脑神经元，那就先看一下大脑的神经元长什么样吧：

想象一下印刷厂中流水线的工人（机器人也算哦），每个工人都有特定的任务，比如装订，塑封，贴防伪标识等等，工人们看到书本并处理完自己的任务后，就回放回传送带，紧接着传送带就传给下一个环节的工人，如此不断重复从而完成一个又一个环节，直到一本书印制完成。

那么类比一下，把上图中的细胞核(nucleus)类比成工人，轴突(axon)类比传送带，树突(dendrite)则比类比成工人的双眼。一个又一个细胞体，从树突接收需要处理的信息，对其进行处理后，再经由轴突通过电信号把处理完的信息传递出去，直到理解信息的内容。当然啦，我们大脑的实际上还要更为复杂，而且一个人的神经元数目就比地球上所有流水线的工人之和还要多呢~

人工神经网络中，树突对应输入(input)，细胞核对应激活单元(activation unit)，轴突对应输出(output)。

我们一般把神经网络划分为三部分（注意，不是只有三层！），即输入层(input layer)，隐藏层(hidden layer)和输出层(output layer)。

图中的一个圈表示神经网络中的一个激活单元，输入层对应输入单元，隐藏层对应中间单元，输出层则对应输出单元。中间激活单元应用激活函数(activation_function)处理数据。

下面列出一些已有概念在神经网络中的别称：

补充：

1.每一层都会有一个偏差单元作用于下一个单元，但上一层单元不会作用到他。虽然图上一般不会标出，但实际上在计算时往往要写上。

2.我们将神经网络分为输入层x、隐藏层a（可以有多层）、输出层h。(之后用theta表示)有时称为参数，有时称为权重，这都是一个意思，不必纠结。可以将它看做上一层单元分别作用于下一层单元的权重。

3.分析上下标：我们要计算当前层各单元，依靠将上层各单元（包括上层偏差单元）对当前单元的权重与自身乘积和得到。表示第二层第三个单元，表示第一层的x2作用到第三层第三个单元。上标表示这个式子是第一层作用到第二层，下标32表示第二层第三个单元与第一层第二个单元之间的联系。

4.下层每一个单元由上层单元的线性组合给出，参数是上层给出。这与之前学的知识很像。可以将下层待求的单元看做y，上层的单元看做特征向量theta（偏差单元未显示但是计算时要写出来），权重看做X，为特征值。因此上层单元数j、下层单元数i，则矩阵维数：（i ， j+1）。

例子，下面矩阵的维数4*3：

8.4 模型表示2(Model Representation II)

 

8.5 例子和直观理解1(Examples and Intuitions I)

为了更好的理解神经网络，举例单层神经网络进行逻辑运算的例子。

下面的例子中，为二进制数。

逻辑与(AND)运算（都为真值则结果才为真）神经网络：

8.6 例子和直观理解2(Examples and Intuitions II)

下面逐步构建复杂一点的神经网络

如上图，我们分别构建了三个单层神经网络，将这三个网络组合起来，可得到一个新的神经网络，其可完成逻辑运算中的异或(XNOR)操作：

可见，特征值能不断升级，并抽取出更多信息，直到计算出结果。而如此不断组合，我们就可以逐渐构造出越来越复杂、强大的神经网络，比如用于手写识别的神经网络。

8.7 多类别分类(Multiclass Classification)

之前讨论的都是预测结果为单值情况下的神经网络，要实现多类别分类，其实只要修改一下输出层，让输出层包含多个输出单元即可。

举一个 4 分类问题的实例：

总结一下